Эксперимент с 2 млн «канареек» выявил утечки данных в цепочке сервисов искусственного интеллекта
Исследователь безопасности HD Moore отправил почти два миллиона запросов с уникальными отслеживаемыми секретами и установил, что как минимум три ИИ-провайдера взломаны, а другие игнорируют настройки приватности. Запросы расшифровываются на нескольких промежуточных звеньях между пользователем и моделью.

HD Moore, главный исследователь компании по кибербезопасности Dragos, провёл эксперимент, показавший, что конфиденциальные данные в массовом порядке утекают через цепочку сервисов, обслуживающих приложения на основе искусственного интеллекта (ИИ). Результаты он опубликовал в четверг. Это важно для всех, кто вводит в ИИ-инструменты пароли, ключи доступа и другие закрытые сведения: они могут оказаться у посторонних.
Как проходил тест
Многие ИИ-приложения используют посредников, которых называют ИИ-маршрутизаторами или шлюзами, например OpenRouter или Vercel. Они принимают запросы пользователей и направляют их доступной модели, исходя, например, из самой низкой цены или лучшей пригодности для задачи.
Moore подготовил ключи доступа Amazon Web Services, привязанные к пустым аккаунтам, пароли SSH, уникальные URL-адреса, DNS-имена и ссылки на приватные git-репозитории. Ранее ничто из этого не использовалось. Каждую «канарейку» он помещал ровно в один запрос, отправленный одному провайдеру, и сам контролировал инфраструктуру, которая получила бы любые попытки их применения.
Что обнаружено
Исследователь выяснил, что минимум три ИИ-провайдера были взломаны злоумышленниками, которые крали получаемые запросы. В одном случае повторно использовались «пара сотен» ключей AWS, а каждый запрос в определённые окна в конце октября был украден. В двух других взломах среди украденных были запросы с пометкой Zero Data Retention (отказ от хранения данных). Украденные ключи применялись в вызовах AWS API «десятки тысяч» раз.
Некоторые перепродавцы привлекали клиентов низкими ценами, включали журналирование запросов и передавали их дальше. Кроме того, китайская ИИ-лаборатория загружала секретные URL из более чем половины запросов, отправленных её моделям с июля по октябрь, включая примерно две трети запросов с пометкой «без сбора данных». То же происходило и у нескольких американских хостинг-провайдеров, перепродающих модели этой лаборатории.
Рекомендации
По словам Moore, наиболее надёжная защита — размещать модели на собственных серверах, хотя это дорого. Альтернатива — пользоваться услугами провайдера первого уровня напрямую и самостоятельно выбирать вышестоящих провайдеров, а не принимать пулы по умолчанию.

