Microsoft: ИИ-агенты могут быть похожи на внутреннюю угрозу, компания запускает Guardian Agents
Microsoft в понедельник представила новые инструменты безопасности, включая Guardian Agents, который следит за ИИ-агентами, используемыми компанией. По мнению Microsoft, передовым ИИ-моделям доверять нельзя из-за их непредсказуемости.
Технологическая компания Microsoft в понедельник, 19 октября, представила новые функции безопасности, призванные защитить предприятия от агентов искусственного интеллекта (ИИ) — программ, которые самостоятельно выполняют задачи от имени компании. Главная новинка — Guardian Agents, инструмент, который следит за ИИ-агентами, применяемыми в организации. В Microsoft считают, что такие агенты могут вести себя подобно ненадёжному сотруднику, и называют этот риск внутренней угрозой.
Что такое Guardian Agents
Инструмент входит в Project Perception, представленный в июне как ответ Microsoft на мощные хакерские модели, например Mythos и Fable от Anthropic, а также на систему сканирования уязвимостей Daybreak от OpenAI. Изначально Project Perception включал три группы агентов: «красная команда» имитировала атакующих, «синяя команда» обнаруживала их и оценивала найденные уязвимости, а «зелёная команда» их устраняла. Продукт строился на допущении, что злоумышленники придут извне.
Недоверие к поставщикам моделей
Генеральный директор Microsoft Сатья Наделла в этом месяце предупредил в личном блоге, что пора перестать полагаться на заверения поставщиков ИИ-моделей о безопасности. По его словам, ответственность за действия ИИ нельзя передавать другим, а поставку интеллекта нужно отделить от власти над ним. Руководитель бизнеса безопасности Microsoft Хайете Галло заявила, что передовым моделям нельзя доверять независимо от их происхождения — не потому, что они вредоносны или легко взламываются, а потому, что они непредсказуемы: их обучали выполнять задачи, а не соблюдать нормы и суждения организации. Кроме того, у них часто есть доступ к данным и инструментам, способным нанести серьёзный ущерб.
Другие новинки
В продукт Microsoft Defender добавлена функция, которая находит до 60 типов агентов, приносимых сотрудниками на рабочее место, включая Claude Code, Codex и OpenClaw. Также появились ограничения доступа агентов к данным и системам, динамическая корректировка их прав в зависимости от задачи и требование одобрения человека, если агент принимает рискованные решения.
Microsoft также стала одним из первых участников новой платформы Nvidia Open Agent Safety Platform, которую поддержали более 100 других технологических компаний. Платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их поведение на уровне оборудования, работая как аварийный выключатель. Microsoft инвестировала и в OpenAI, и в Anthropic, поэтому её позиция идёт вразрез с частью собственных деловых связей, но позволяет компании продавать собственные продукты для защиты агентов.
