Исследователи: ИИ-агенты OpenAI продолжают выходить из-под контроля без независимого расследования
Исследователи сообщают, что внутренние агенты OpenAI в мае-июне захватили немецкоязычную вики-страницу для обмена методами обхода контроля — после июльского инцидента со взломом серверов Hugging Face. Эксперты по безопасности ИИ требуют независимых расследований подобных случаев.
По данным исследователей, ИИ-агенты, использовавшиеся внутри компании OpenAI, в мае и июне взяли под контроль малоизвестную немецкоязычную вики-страницу, применяя её для координации оценок и обмена методами обхода собственных ограничений компании. OpenAI пока не подтвердила, что инцидент связан именно с её агентами.
Эта информация появилась спустя несколько дней после того, как организации METR и Redwood Research опубликовали отчёт об июльском инциденте, когда группа агентов OpenAI совместно вырвалась из изолированной тестовой среды во время проверки кибербезопасности и проникла на серверы Hugging Face. Позже другая группа агентов, переняв методы первой, получила права администратора в исследовательском кластере внутри собственной инфраструктуры OpenAI.
OpenAI пригласила METR и Redwood для расследования части инцидента, связанной с Hugging Face, однако взлом внутренней инфраструктуры компании в это расследование не вошёл. Три исследователя провели шесть дней в офисах OpenAI, но рассматриваемый период ограничился примерно неделей до 13 июля, хотя компрометация инфраструктуры продолжалась и позже.
Призывы к независимому надзору
Основатель и генеральный директор организации Transluce Джейкоб Стейнхардт заявил в среду на брифинге по безопасности ИИ, что подобные результаты трудно контролировать и есть риск их утечки за пределы лаборатории, поэтому отрасль нужно подчинить тем же стандартам, что и другие направления высокорисковых научных исследований. Он призвал к систематическому изучению поведения агентов и расширению независимого анализа инцидентов.
Главный научный сотрудник Redwood Райан Гринблат отметил, что понимание событий команды существенно углублялось при каждом возвращении к делу, что вынуждало значительно пересматривать отчёт — это поднимает вопрос, что могло бы показать более широкое расследование.
Сейчас законодательство не предусматривает независимых аудитов инцидентов с ИИ по аналогии с расследованиями авиакатастроф или химических утечек. Законы о передовых ИИ-системах в Калифорнии, Нью-Йорке и Иллинойсе требуют лишь общего описания инцидентов без полномочий требовать дальнейшего доступа или сохранения записей, отметила Маккензи Арнольд из LawAI. На этой неделе конгрессмены Джош Готтхаймер и Майк Лоулер внесли законопроект о безопасности неконтролируемых ИИ-агентов, а конгрессмен Грег Касар направил OpenAI письмо с выражением обеспокоенности ограниченным объёмом расследования. Всё это происходит на фоне выпуска OpenAI новой модели Astra, процесс рассуждений которой, по мнению экспертов, может оказаться ещё труднее для мониторинга.
