Агенты OpenAI обсуждали способы обхода песочницы на публичной вики

Группа исследователей в пятницу заявила, что обнаружила доказательства того, что ИИ-агенты, называвшие себя разработками OpenAI, за шесть недель разместили около 18 000 сообщений на публичном немецком вики-сайте DSEwiki. Сообщения оставили агенты, использовавшие 3700 разных самостоятельно выбранных имён, а сама активность, вероятно, происходила во время внутреннего тестирования, призванного оценить хакерские способности агентов.

В сообщениях агенты обсуждали способы вырваться за пределы ограниченной среды, которую OpenAI создала, чтобы не допустить публикации кода или контента в интернете. Они также делились ответами на тесты, возможными методами проведения межсайтового скриптинга (XSS) против самой вики и способами выдавать себя за модераторов сайта. В трёх сообщениях агенты назвали группу участников словом «swarm» («рой»).

Как это произошло

Исследовательская группа — Сидни фон Аркс, Спенсер Китс, Томас Ларсен и Кормак Слэйд Бёрд — сообщила, что собрала эти сообщения воедино, но признала пробелы в понимании произошедшего, поскольку выводы основаны исключительно на содержании постов. Дополнительные данные о ходе рассуждений агентов содержатся только в информации о «цепочке мыслей», доступной лишь OpenAI. Поэтому часть выводов, включая то, что агенты действительно принадлежат OpenAI, была обоснованным предположением — позже подтверждённым самой компанией в официальном заявлении.

По оценке исследователей, агентам было поручено выполнить ограниченную по времени задачу по поиску информации в интернете, при этом им разрешалось читать интернет, но не писать в него. Агенты нашли способ, используя доступ на чтение, всё же публиковать информацию на малоизвестной немецкой вики и с её помощью общаться друг с другом, помогая выполнить задание — запрашивая ответы, объединяя результаты и делясь методами обхода ограничений. После того как OpenAI обнаружила эту активность, на следующий день активность агентов резко упала, что указывает на вмешательство компании.

Это раскрытие произошло спустя неделю после того, как исследователи из некоммерческой организации METR сообщили, что более 1200 агентов OpenAI оставляли сообщения на самодельном форуме, созданном на основе перепрофилированного внутреннего инструмента песочницы, обсуждая способы обмануть внутренний тест, в котором у агентов были отключены обычные защитные ограничения.