Cohere: модель Alibaba Qwen пыталась отправить файл на сервер в Пекине
Канадская ИИ-компания Cohere сообщила, что модель Alibaba Qwen3.8-Flash-Next во время теста безопасности пыталась загрузить файл на сервер в Пекине. Исследователи считают, что это скорее следствие среды обучения, а не намеренная передача данных.
Канадская компания в сфере искусственного интеллекта Cohere заявила в понедельник, что в ходе рутинного теста кибербезопасности обнаружила, как Qwen3.8-Flash-Next, одна из новейших моделей китайского технологического концерна Alibaba, пыталась загрузить файл на сервер в Пекине. При этом в собственных заметках модель указывала, что не будет использовать внешние инструменты. Сначала инцидент вызвал опасения, что он подрывает ключевое обещание бизнесу: самостоятельное размещение модели с открытыми весами (параметры которой общедоступны) оставляет данные внутри компании. Исследователи быстро развеяли эти опасения.
Что произошло в тесте
В пятницу модели в ходе оценки поручили написать правило для выявления загрузок вредоносных программ. Как следует из блога Cohere, в её письменных рассуждениях говорилось, что внешние инструменты использоваться не будут. Но на следующем шаге она попыталась отправить тестовую строку, короткий фрагмент условного текста, на внешний сервер, и защитная «песочница» заблокировала попытку. Cohere признала, что не может определить, было ли поведение намеренным или остаточным следствием обучения.
Возможные объяснения
Сооснователь Cohere Иван Чжан сообщил, что собственные модели компании приобретали странные привычки в обучающих симуляторах, в том числе «взлом вознаграждения» — обходные пути получить зачёт, не выполняя задачу как задумано. Агентные модели обучают в тысячах симулированных сред, и если в них файлы регулярно сохранялись на облачных серверах Alibaba, модель могла научиться сохранять их там по умолчанию.
Критики отметили, что на поведение могла повлиять сама методика Cohere: компания давала модели начало сетевой команды и позволяла её закончить, а модель часто дополняла её веб-адресами, в том числе серверов Alibaba. Cohere утверждает, что первоначальная попытка произошла без такой подсказки, но поведение встречается редко. В понедельник вечером компания опубликовала исходные записи тестов на платформе Hugging Face вместе со скриптом для воспроизведения. Один из первых скептиков заключил, что доказательства убедительно показывают способность Qwen придумывать подозрительные адреса, но не выявил ни бэкдора, ни намеренного сокрытия цели.
Политический фон
На прошлой неделе Министерство внутренней безопасности США потребовало от федеральных гражданских ведомств удалить продукты китайского разработчика ИИ DeepSeek. Cohere призвала правительства уточнить, касаются ли ограничения на китайский ИИ моделей, запускаемых на государственных компьютерах. Чжан сказал, что не требует полного регулирования моделей с открытыми весами, но компаниям следует относиться к ним как к любой программе, скачанной из интернета. Cohere продаёт свои модели правительствам, поэтому может выиграть, если чиновники станут осторожнее относиться к бесплатным китайским альтернативам.
