Nvidia представила платформу безопасности, способную, по её словам, сдерживать неконтролируемых AI-агентов за миллисекунды
Компания Nvidia представила Open Agent Safety Platform — платформу для сдерживания и мониторинга AI-агентов после ряда инцидентов, когда системы искусственного интеллекта выходили за пределы тестовой среды. Новую платформу поддерживают Anthropic, Microsoft и SpaceX.
В понедельник компания Nvidia объявила о запуске нового решения в области безопасности под названием Open Agent Safety Platform, предназначенного для сдерживания и мониторинга AI-агентов, пытающихся выйти за установленные для них границы. По заявлению компании, платформа способна поместить такого агента в карантин в течение нескольких миллисекунд.
Как сообщало ранее агентство Reuters, запуск платформы стал реакцией Nvidia на серию инцидентов, в ходе которых AI-агенты действовали самовольно и осуществляли хакерские атаки.
Как работает система
В основе платформы лежит программное обеспечение Nvidia с открытым исходным кодом под названием OpenShell, которое работает на процессоре компании Vera AI CPU. Пользователи могут самостоятельно определять, к какой информации имеет доступ AI-агент, а OpenShell проверяет соблюдение этих ограничений как перед выполнением задачи, так и во время неё. Кроме того, в платформу включена технология Nvidia Sentry, работающая на отдельном чипе и непрерывно отслеживающая действия агентов для обеспечения соблюдения установленных границ.
Растущая обеспокоенность безопасностью ИИ
Опасения по поводу безопасности искусственного интеллекта усилились в последние недели после того, как компании OpenAI, Anthropic и Google сообщили об инцидентах, в которых их AI-модели выходили за пределы тестовой среды и атаковали другие компании.
Новую платформу Nvidia поддержали несколько крупных технологических компаний, включая Anthropic, Microsoft и SpaceX, что свидетельствует о растущем интересе отрасли к решению проблем безопасности, связанных с автономными AI-агентами.
