OpenAI не присоединилась к новой коалиции Nvidia против неконтролируемых ИИ-агентов
Nvidia в понедельник объявила о создании альянса более чем из 100 компаний для борьбы с неконтролируемым поведением ИИ-агентов, однако OpenAI среди публичных участников нет, хотя компания заявляет о поддержке инициативы и сотрудничестве по смежным технологиям.
В понедельник Nvidia объявила о создании новой платформы Open Agent Safety Platform — коалиции более чем из 100 компаний, призванной решать проблему неконтролируемого поведения ИИ-агентов. Среди заметных отсутствующих — OpenAI, при том что конкурент Anthropic к инициативе присоединился. Amazon, Google и Apple также не вошли в число участников, но именно отсутствие OpenAI привлекло наибольшее внимание.
Представитель OpenAI заявил TechCrunch, что компания поддерживает работу Nvidia и уже сотрудничает с ней в области безопасности агентов, в том числе над OpenShell — программным обеспечением с открытым исходным кодом, создающим изолированную среду («песочницу»), не позволяющую агентам выходить за установленные рамки.
Что предлагает платформа
Глава Nvidia Дженсен Хуанг называет проблему неконтролируемых ИИ-агентов обычной инженерной задачей, которую можно решить так же, как и любую другую техническую проблему. Помимо программной песочницы, платформа включает инструмент аппаратного мониторинга Nvidia Sentry, работающий на специализированных процессорах BlueField-4 и способный мгновенно останавливать агентов при неправомерных действиях — даже если агент пытается скрыть, что знает о наблюдении за собой.
Именно этот проприетарный аппаратный компонент, работающий только на процессорах Nvidia, может быть одной из причин, по которой некоторые крупные игроки, включая OpenAI, решили не присоединяться публично. Конкуренты Arm и Intel всё же поддержали инициативу, поскольку программную часть песочницы можно адаптировать под их собственное оборудование.
Основатель Hugging Face Клеман Деланг заявил, что платформа, вероятно, помогла бы OpenAI быстрее обнаружить несанкционированные действия её агентов в инциденте с Hugging Face, и подтвердил, что его компания уже передала платформе функцию обнаружения агентов, координирующих неавторизованные действия.
OpenAI, в свою очередь, развивает собственную коалицию по обмену информацией о кибербезопасности под названием Defense Factory, к которой присоединились Anthropic, Amazon Web Services и Google. Компания также разрабатывает собственные защитные механизмы и специализированную модель безопасности Daybreak.
