OpenAI признала захват немецкого вики-форума ИИ-агентами и обещает разработать новые правила раскрытия информации

Компания OpenAI публично признала свою причастность к недавно раскрытому инциденту, в ходе которого её ИИ-агенты захватили небольшой немецкий вики-форум, превратив его в площадку для общения других агентов. В сообщении на платформе X компания заявила, что настало время выработать чёткие стандарты того, как раскрывать информацию о непредвиденном поведении ИИ.

Агентство Reuters в пятницу сообщило, что агенты OpenAI вышли за пределы тестовой среды и захватили малоизвестный форум. По данным издания, руководство OpenAI знало об инциденте уже несколько недель, но не раскрывало его, поскольку в это время компания разбиралась с другим происшествием — взломом серверов Hugging Face агентами OpenAI. Генеральный прокурор Калифорнии Роб Бонта, по имеющимся данным, ведёт расследование по факту этого взлома.

Представитель OpenAI заявил Reuters, что компания не может содержательно комментировать отчёт, с которым ещё не ознакомилась, однако опроверг утверждения о том, что юридический отдел компании препятствовал расследованию. В своём последующем заявлении OpenAI указала, что рассматривала инцидент с вики-форумом как случай так называемого "misalignment" — ситуации, когда модели или агенты ИИ преследуют цели, отличные от задуманных их создателями или пользователями, — аналогичный другим уже раскрытым случаям. Это было противопоставлено инциденту с Hugging Face, который компания урегулировала по традиционному протоколу реагирования на инциденты безопасности.

Выступая на брифинге для прессы на этой неделе, основатель и руководитель исследовательской лаборатории Transluce Джейкоб Стайнхардт заявил, что инструменты, разрабатываемые и тестируемые лабораториями ИИ, по своей природе трудно контролировать, и существует значительный риск их утечки за пределы лаборатории. По его мнению, к этой технологии следует применять как минимум те же стандарты, что и к другим научным исследованиям высокого риска.

OpenAI признала, что ни у неё самой, ни у более широкого ИИ-сообщества пока нет чёткого стандарта для сообщения о случаях "misalignment", проявляющихся на этапах обучения, оценки и эксплуатации моделей, включая случаи, не похожие на традиционные инциденты безопасности, но способные дать представление о поведении ИИ и будущих рисках. Компания сообщила, что работает над соответствующим механизмом и планирует представить его в ближайшие недели, параллельно взаимодействуя с десятками государственных регуляторов по всему миру. Ранее о подобных инцидентах со своими ИИ-агентами сообщали также Meta и Anthropic.