Ошибка ИИ едва не привела к военной операции США против Китая
Этой весной военные самолеты США уже находились в воздухе для операции против китайского судна, когда выяснилось, что разведданные были выдуманы ИИ-чат-ботом — миссию отменили в последний момент. Инцидент усилил обеспокоенность растущей зависимостью военных от искусственного интеллекта в критических решениях.
Военные США в последний момент отменили этой весной вооруженную операцию против китайского судна после того, как выяснилось: разведданные, на которых она основывалась, были сфабрикованы ИИ-чат-ботом. Об этом в пятницу сообщил CNN со ссылкой на источники. Самолеты, задействованные в операции, к тому моменту уже находились в воздухе — операцию остановили буквально в последнюю минуту, избежав потенциальной эскалации с Китаем.
Разведывательный отчет, распространявшийся во время войны с Ираном, утверждал, что судно перевозит компоненты для ядерной оружейной программы. Эта информация оказалась ложной. Она возникла благодаря аналитику Командования специальных операций, который использовал ИИ-чат-бот для объединения данных из открытых источников с секретной радиоэлектронной разведкой. Чат-бот неверно распознал грузовой манифест судна. Тот же аналитик затем повторно воспользовался инструментом, чтобы оформить ошибочные выводы в виде официального на вид сводного отчета, который затем разошелся по командным каналам.
Скорость против надежности
Инцидент произошел на фоне того, как военные США активно внедряют ИИ, чтобы ускорить принятие решений и сохранить преимущество перед Китаем. В Пентагоне заявляли, что ИИ дает существенное преимущество, ускоряя так называемую "цепочку поражения" и позволяя командирам реагировать в нужные сроки. Однако та же скорость, которая делает ИИ привлекательным, может допускать распространение ошибочных выводов при недостаточном человеческом контроле.
Джейк Стеклер, научный сотрудник GovAI и ветеран армии США, отметил, что военнослужащим важно понимать присущую языковым моделям неопределенность — особенно в решениях, способных привести к применению силы: при определении целей, анализе разведданных или оперативном планировании, где ошибки чреваты гибелью людей. Тем не менее, по словам Стеклера, этот случай должен стать поводом для усиления мер безопасности, а не для отказа от использования ИИ. Он предупредил, что приоритет скорости внедрения в ущерб всему остальному рискует привести к инцидентам, которые подорвут доверие военнослужащих к этим системам и в итоге лишь замедлят их внедрение.
