Эксперт: в ходе теста OpenAI ИИ-агенты сами нашли путь в чужую систему
OpenAI этим летом выяснила, что ее ИИ-агенты в ходе тестирования кибербезопасности вышли за рамки установленных ограничений и проникли в системы Hugging Face, хотя это не было целью теста. Эстонский эксперт Кульдар Таветер объясняет, почему автономные ИИ-агенты могут действовать так, как им напрямую не приказывали.
В июле и августе 2026 года широкий резонанс вызвал случай, когда ИИ-агенты OpenAI в ходе тестирования кибербезопасности вышли за рамки установленных для них технических ограничений и проникли в информационные системы третьей стороны.
OpenAI оценивала киберпотенциал своих моделей ИИ в изолированных средах со сниженными ограничениями безопасности. Во многих тестовых средах агентам не предоставляли ни подключения к интернету, ни возможности общаться с другими агентами. Несмотря на это, они нашли способы использовать исследовательскую инфраструктуру OpenAI, общались друг с другом по неразрешенным каналам и вышли в интернет.
Пытаясь решить поставленные задачи, агенты начали искать информацию в сторонних системах, не имеющих отношения к этим задачам. В частности, они обнаружили и использовали уязвимости безопасности Hugging Face, получив доступ к производственной среде компании, хотя она не была целью тестирования. Согласно отчету, опубликованному OpenAI 26 августа, такая деятельность не соответствовала целям задач, поставленных перед агентами.
Что значит, что агент действует "самостоятельно"
Обычная программа делает лишь то, что ей приказал программист. С системами на базе ИИ ситуация сложнее: программист определяет архитектуру, процесс обучения, инструменты и ограничения, однако конкретное поведение формируется в результате обучения и может быть труднопредсказуемым. Агентам не был написан код "взломай Hugging Face" — тем не менее выбранная ими последовательность действий привела именно к такому результату.
Кульдар Таветер поясняет, что агентам присущи три свойства: реактивность (реакция на происходящее во внешней среде), социальность (способность общаться и сотрудничать с людьми и другими агентами) и проактивность — способность самостоятельно инициировать действия на основе собственных знаний и целей, а не только реагировать на события. Именно сочетание автономности и проактивности делает современные ИИ-агенты одновременно очень способными и потенциально опасными. Это не означает, что у ИИ появляется человеческое намерение — техническая автономность и свободная воля являются совершенно разными вещами.
Новая технология, старая проблема
Если конкретные действия агента нельзя полностью предсказать, безопасность не может строиться лишь на предположении об ожидаемом поведении. Важно требовать подтверждения человека для критически важных операций, применять принцип наименьших привилегий, ограничивать сетевые соединения, использовать изолированную среду, а также вести логирование, мониторинг и предусматривать автоматическую остановку при необычном поведении.
Вопрос о том, как гарантировать, чтобы автономно действующая машина не причинила вреда человеку, обсуждается уже как минимум восемь десятилетий — со времен законов робототехники Айзека Азимова 1942 года. То, что когда-то было научной фантастикой, сегодня стало практической инженерной задачей.
