Microsoft: ИИ-агенты могут стать внутренней угрозой для компаний
Microsoft в понедельник представила новые средства безопасности, включая Guardian Agents, которые следят за ИИ-агентами в компании. Корпорация считает, что передовым ИИ-моделям нельзя доверять из-за непредсказуемости их поведения.
Американская технологическая компания Microsoft в понедельник, 19 октября, объявила о новых функциях безопасности, призванных защитить предприятия от угроз, связанных с агентами искусственного интеллекта (ИИ). ИИ-агенты — это программы, которые самостоятельно выполняют задачи от имени компании. По мнению Microsoft, следить за ними должны системы, не принадлежащие самим разработчикам ИИ.
Guardian Agents и Project Perception
Главная новинка — Guardian Agents, которая отслеживает ИИ-агентов, используемых компанией. Она входит в Project Perception, представленный Microsoft в июне. Этот продукт стал ответом компании на мощные хакерские модели, такие как Mythos и Fable от Anthropic, и систему поиска уязвимостей Daybreak от OpenAI.
Изначально Project Perception включал три группы агентов: «красная команда» атаковала подобно хакерам, «синяя» обнаруживала их и оценивала найденные уязвимости, а «зелёная» устраняла их. Продукт исходил из того, что злоумышленники придут извне.
Доверие к моделям
Генеральный директор Microsoft Сатья Наделла в этом месяце написал в личном блоге, что предприятиям не следует полагаться на заверения о безопасности от поставщиков ИИ-моделей. По его мнению, компаниям нужны отдельные системы, не контролируемые ИИ-лабораториями, для наблюдения за агентами. Он заявил, что поставку интеллекта необходимо отделить от власти над ним.
Глава бизнеса безопасности Microsoft Хайете Галло (Hayete Gallot) заявила, что передовым моделям, независимо от их происхождения, доверять нельзя. По её словам, причина не в злонамеренности или лёгкости взлома, а в непредсказуемости: модели обучены выполнять задачи, а не следовать организационным нормам или здравому суждению. Кроме того, им часто дают доступ к данным и инструментам.
Другие новинки
В продукт Microsoft Defender добавлена функция, обнаруживающая до 60 типов агентов, которых сотрудники приносят на работу, включая Claude Code, Codex и OpenClaw. Также появились функции, ограничивающие доступ агентов к данным и системам, динамически меняющие разрешения под задачу и требующие одобрения человека при рискованных решениях.
Microsoft также стала одним из первых участников новой Open Agent Safety Platform от Nvidia, которую поддерживают более 100 других технологических компаний. Платформа изолирует агентов в защищённых средах и может останавливать их работу на уровне оборудования.
