Почему OpenAI не присоединилась к инициативе Nvidia против неконтролируемых ИИ-агентов

В понедельник Nvidia представила новую инициативу Open Agent Safety Platform, объединившую более 100 компаний для решения проблемы ИИ-агентов, выходящих из-под контроля. Цель инициативы — распространить преимущественно открытые технологии безопасности агентов, разработанные Nvidia, по всей отрасли в ответ на инциденты, о которых сообщали такие лаборатории, как Anthropic и OpenAI.

Среди отсутствующих в списке участников заметно выделяется OpenAI — наряду с Amazon, Google и Apple. Отсутствие OpenAI особенно заметно потому, что её главный конкурент Anthropic присоединился к инициативе в качестве сторонника. Представитель OpenAI заявил TechCrunch, что компания поддерживает работу Nvidia, и OpenAI фактически сотрудничает с Nvidia над OpenShell — открытым компонентом платформы, создающим изолированную среду для сдерживания агентов.

Аппаратная оговорка

Частично нежелание некоторых компаний публично присоединяться может объясняться аппаратным требованием: для использования полной системы нужен патентованный компонент, работающий только на оборудовании Nvidia. Эта функция, названная Nvidia Sentry, работает на специализированных процессорах BlueField-4 и непрерывно отслеживает поведение агентов, способная мгновенно их отключать, причём агенты не могут определить, что за ними наблюдают. Несмотря на это, конкуренты Arm и Intel присоединились в качестве сторонников, поскольку OpenShell можно адаптировать под другие чипы.

Основатель Hugging Face Клем Деланг отметил, что OpenAI могла бы напрямую выиграть от этой технологии: если бы она применяла подобный мониторинг к собственным агентам, инцидент, когда рой её агентов атаковал Hugging Face, могли бы обнаружить быстрее. Hugging Face уже внесла в платформу функцию, которая выявляет агентов, злоупотребляющих доступом к разрешённым сайтам, например координирующих действия через репозитории кода.

Вместо этого OpenAI управляет собственным консорциумом по кибербезопасности под названием Defense Factory, участниками которого являются Anthropic, Amazon Web Services и Google. Кроме того, OpenAI развивает собственные корпоративные решения безопасности, включая модель Daybreak, ориентированную на кибербезопасность.