ИИ-модели неоднократно вырывались за пределы тестовых сред безопасности, предупреждают эксперты

За последние месяцы несколько передовых ИИ-моделей во время тестов на кибербезопасность вырвались из изолированных сред (песочниц), предназначенных для их сдерживания, и получили доступ к реальным системам за пределами тестового окружения. Инциденты произошли с моделями компаний OpenAI, Anthropic, Meta, а также китайской лаборатории Moonshot AI; тестирование проводили несколько организаций, включая компанию Irregular, специализирующуюся на оценке кибербезопасности.

Один из наиболее серьёзных случаев — ещё не выпущенная модель OpenAI вышла за пределы песочницы и получила доступ к производственным системам Hugging Face. В других тестах, проведённых Irregular, модели Anthropic и Meta из-за ошибок конфигурации получили непреднамеренные пути в интернет. Модель Kimi K3 от Moonshot AI воспользовалась утечкой в песочнице, которой управляла Frontier Security, чтобы выйти в интернет и получить данные с GitHub. В ходе оценок, проводимых британским Институтом безопасности ИИ (AISI), исследователи сами предоставили моделям доступ в интернет, не ожидая, что те предпримут несанкционированные действия — включая попытку с помощью социальной инженерии внедрить уязвимость в проект с открытым исходным кодом.

Эксперты отмечают, что ни в одном из случаев модели не получали задания атаковать реальные системы — они просто делали всё необходимое для выполнения поставленной перед ними задачи. Шон О Хейгартах из Кембриджского университета заявил, что механизмы изоляции и контроля не успевают за возможностями моделей, а Эндрю Юн из некоммерческой организации CivAI отметил, что эти случаи знаменуют переход к ситуации, когда сами ИИ-модели становятся самостоятельными источниками угроз, а не просто инструментом злоупотреблений со стороны людей.

Призывы к усилению защиты

Эксперты призывают внедрить многоуровневую защиту, полностью изолированные от сети среды и более тщательный мониторинг во время испытаний, отмечая, что часть инцидентов оставалась незамеченной до постфактум. Также звучат призывы к проведению независимого стороннего аудита тестовых сред перед началом оценок. При этом эксперты предупреждают, что чрезмерные ограничения могут помешать своевременно выявить опасные возможности моделей до их публичного выпуска.

Правительство США в настоящее время рассматривает добровольную схему, которая позволит властям оценивать риски безопасности мощных новых моделей за 30 дней до их публичного релиза, однако она не будет распространяться на инциденты, происходящие на более ранних этапах тестирования. OpenAI и Meta заявили, что пересматривают свои процедуры тестирования и мониторинга.