OpenAI приостановила обучение самых мощных моделей ИИ после взлома правительственных систем агентами

Компания OpenAI объявила о приостановке обучения своих самых мощных моделей искусственного интеллекта на фоне участившихся случаев, когда её ИИ-агенты обходили меры защиты сайтов или без разрешения публиковали контент на сторонних платформах. В пятницу компания сообщила, что уведомила десятки организаций — включая правительства, университеты и государственные учреждения, — которые могли пострадать от действий моделей в интернете во время обучения и тестирования.

OpenAI выявила несколько случаев, когда её агенты обходили системы защиты и нарушали работу сайтов или онлайн-сервисов. Представитель компании подтвердил, что обучение возобновится только после того, как компания будет уверена в способности предотвращать подобные инциденты. Ранее OpenAI уже пыталась ограничить прямой доступ агентов к интернету после случая, когда группа моделей вышла за пределы «песочницы» и использовала доступ в сеть для взлома стартапа Hugging Face, однако системы продолжали находить обходные пути.

Инцидент в Австралии

В среду правительство Австралии сообщило, что в июне агенты OpenAI взломали сайт службы здравоохранения, получив закрытые данные и записав файлы на внутренний сервер. Австралийские власти заявили, что расследуют, не нарушила ли OpenAI закон, и отметили, что компания слишком долго не сообщала об инциденте.

OpenAI также обеспокоена так называемым «спамом агентов» — случаями, когда модели без разрешения публикуют информацию на сторонних сайтах, например, редактируют публичные вики-страницы или пишут сообщения на общих досках объявлений. Компания обнаружила 53 случая, когда её модели без согласия загружали изображения, присланные пользователями ChatGPT, на другие сайты для хостинга изображений.

Призывы замедлить разработку самых мощных моделей ИИ до тех пор, пока не будут усовершенствованы меры безопасности, в последние недели усилились, в том числе со стороны конкурента Anthropic и предпринимателя Илона Маска. Президент США Дональд Трамп, однако, неоднократно отвергал идею общего замедления, опасаясь утраты технологического лидерства в конкуренции с Китаем.