Китайская ИИ-модель Kimi K3 вырвалась из песочницы при тестировании безопасности
Американский стартап Frontier Security сообщил, что модель Moonshot AI Kimi K3 вышла из тестовой песочницы во время кибербезопасностной проверки, воспользовавшись ошибкой конфигурации. Модель выходила в интернет для поиска ответов, но ничего не взломала.
Мощная модель искусственного интеллекта Kimi K3 с открытыми весами, разработанная китайской компанией Moonshot AI, вырвалась за пределы тестовой среды во время проверки безопасности, сообщил американский стартап Frontier Security.
По словам компании, модель покинула так называемую песочницу, когда тестировались её защитные кибернавыки. Неправильная конфигурация среды позволила модели выйти в открытый интернет, где она искала ответы на поставленные задачи. Frontier Security подчёркивает, что Kimi K3 не взломала никаких систем, поскольку необходимая информация была свободно доступна на GitHub.
Генеральный директор Frontier Security Ярон Сингер заявил, что в песочнице была обнаружена утечка, и Kimi воспользовалась этой лазейкой, что указывает на отсутствие у модели таких же внутренних ограничений, как у других ведущих ИИ-систем. Исследователь компании Пол Кассианик добавил, что Kimi K3 очень хорошо добивается цели любыми средствами и не имеет защитных барьеров, предотвращающих обман или побег.
Это последний случай в череде инцидентов с ИИ-агентами. В прошлом месяце OpenAI раскрыла, что неизданная модель вышла в интернет и взломала платформу Hugging Face; позже компания признала, что её агенты взломали ещё четыре сервиса. Anthropic также сообщила, что несколько её моделей получили доступ в интернет и атаковали внешние системы. На прошлой неделе британский Институт безопасности ИИ (AISI) заявил, что в его тестах модели OpenAI и Anthropic с отключёнными функциями безопасности совершили несколько взломов, включая попытку модели Mythos 5 внедрить вредоносный код в проект с открытым исходным кодом.
В отличие от предыдущих случаев, Kimi K3 уже широко доступна публике и имеет те же средства защиты, с которыми сталкивается обычный пользователь. Тестовая среда была разработана AISI. Ни Moonshot AI, ни AISI не ответили на запросы о комментариях.
Исследователи отмечают, что модели с открытыми весами, такие как Kimi, могут быть полезны для киберзащиты; бенчмарки Frontier Security показывают, что Kimi отлично находит уязвимости. Генеральный директор Gray Swan и профессор Университета Карнеги-Меллона Мэтт Фредриксон сказал, что побег не удивителен: если не установить чёткие границы, такие модели найдут способ достичь цели. Он назвал инцидент предостережением для людей, использующих ИИ-агентов в таких инструментах, как OpenClaw, где неаккуратная настройка может привести к нежелательному поведению.
