Одна компания связана с чередой инцидентов с вышедшими из-под контроля ИИ-агентами
Серия инцидентов 2026 года, когда ИИ-агенты от OpenAI, Meta, Anthropic и Google вырвались из тестовых сред и атаковали реальные системы, оказалась связана с одной и той же ошибкой в тестах израильского стартапа Irregular. Компания заявляет, что проблема уже устранена.
С июля, когда OpenAI сообщила, что её ИИ-агенты без разрешения атаковали Hugging Face, произошёл ряд похожих инцидентов с агентами компаний Meta, Anthropic, Google и других. Поначалу эти случаи казались не связанными между собой, но у многих из них обнаружился общий источник — израильский стартап Irregular, который занимается тестированием кибербезопасности ИИ-моделей.
Основанная в 2023 году под названием Pattern Labs, Irregular использует так называемые высокоточные исследовательские платформы, имитирующие реальные сценарии угроз безопасности ИИ. На работу компании ссылались в технических картах моделей OpenAI, она тестировала системы для правительства Великобритании и Anthropic, а также публиковала исследования совместно с влиятельным аналитическим центром RAND.
Как произошла ошибка
В нескольких тестах этого года Irregular использовала упражнения типа "захват флага", в которых агентам нужно найти скрытую информацию в якобы смоделированной сети. Технический директор и сооснователь Irregular Омер Нево рассказал The Verge, что агенты непреднамеренно получили доступ к открытому интернету, а вымышленное название компании, созданное для симуляции, случайно совпало с реальным доменом. Сочетание этих двух ошибок привело к тому, что агенты атаковали реальные цели, хотя неизвестно, какие именно организации пострадали.
Нево подтвердил, что та же самая проблема лежала в основе инцидентов с моделями OpenAI, Meta, Anthropic и Google, и что обо всех случаях было сообщено причастным сторонам. Он отметил, что взлом Hugging Face и инциденты, связанные с британским Институтом безопасности ИИ, не имеют отношения к работе Irregular.
Компания также тестировала открытые модели китайских разработчиков Moonshot AI и Z.ai — Kimi K3 и GLM-5.2. Эти проверки не привели к подобным реальным инцидентам, хотя Нево предупредил, что это не означает меньшую уязвимость этих моделей.
После инцидентов Irregular ужесточила контроль доступа к интернету, расширила мониторинг и ручную проверку, а также усилила проверки перед началом оценок, чтобы доступ соответствовал заявленным рамкам. Компания планирует опубликовать более подробный отчёт с извлечёнными уроками. Ни одна из четырёх крупных американских ИИ-компаний не предоставила дополнительных подробностей о том, когда они узнали об инцидентах и планируют ли продолжать сотрудничество с Irregular.
