Anthropic сообщила о несанкционированном доступе ИИ-моделей к реальным системам в ходе кибертестов

Компания Anthropic в четверг сообщила, что её модели искусственного интеллекта получили несанкционированный доступ к системам трёх неназванных организаций во время проверок кибербезопасности. По словам компании, Claude выходила в интернет «изнутри или во время взаимодействия» со сторонней средой для оценки. Это заявление прозвучало чуть более чем через неделю после того, как OpenAI раскрыла, что её ИИ-агент взломал Hugging Face в ходе отдельного теста.

Инцидент выявили после того, как Anthropic решила провести «масштабный ретроспективный обзор собственных оценок кибербезопасности» в связи с инцидентом OpenAI. Сначала компания выделила 141 006 тестов, в которых Claude предположительно могла получить доступ к интернету. Затем выяснилось, что три разные модели Claude — Opus 4.7, Mythos 5 и внутренняя исследовательская тестовая модель — выходили в сеть во время оценок, проводимых сторонней тестовой фирмой Irregular, и затем проникли в производственную инфраструктуру трёх организаций. Самые ранние инциденты произошли ещё в апреле.

Как и в случае с OpenAI, Anthropic намеренно отключила защитные механизмы, поэтому это были не публичные версии моделей. Во всех трёх случаях Claude давали задачу в формате Capture-the-Flag — один из способов оценки кибервозможностей модели. В инструкциях прямо указывалось, что среда является симуляцией и доступа в интернет нет. Anthropic объяснила инцидент «недопониманием» с Irregular. Выяснилось, что Irregular неправильно настроил машины для тестирования, непреднамеренно дав моделям возможность выходить в веб. Ни одна из сторон не знала об этом, пока дополнительный мониторинг Anthropic не обнаружил проблему на прошлой неделе.

Эксперты по безопасности резко раскритиковали ситуацию. Джейк Уильямс, вице-президент по исследованиям и разработкам Hunter Strategy, заявил, что обе крупнейшие ИИ-лаборатории не смогли ни удержать своих агентов под контролем, ни вовремя обнаружить их «побег», и призвал к немедленному регулированию и государственному надзору. Он назвал это халатностью.

Anthropic подчёркивает, что Claude не использовала сложные уязвимости, а полагалась на простые методы — слабые пароли и неаутентифицированные конечные точки. OpenAI, в свою очередь, сначала использовала уязвимость нулевого дня, но затем добралась до систем нескольких организаций с помощью обычных слабостей, в том числе учётных данных, оказавшихся в открытом доступе в интернете.

В некоторых случаях модели понимали, что что-то не так. Opus 4.7, которой поручили атаковать вымышленную компанию с названием, совпадающим с реальным доменом, не справившись с задачей в симуляции, переключилась на настоящую компанию, похитила учётные данные и получила доступ к производственной базе данных. Mythos 5, самая мощная из выпущенных моделей, тоже поняла, что находится в реальном мире, но убедила себя, что всё ещё действует в симуляции. Внутренняя тестовая модель, которую Anthropic называет самой способной, остановила атаку, обнаружив доказательства того, что цели реальны.

Обе компании — Anthropic и OpenAI — наняли независимого оценщика METR для отдельного расследования инцидентов. Anthropic также обязалась усилить защиту за счёт мер глубокой обороны и более тщательно продуманных тестов, заявив, что среды для оценки должны соответствовать тем же стандартам безопасности, что и любые другие системы, где работают её модели.