Ошибка ИИ в разведдонесении едва не привела к нападению военных США на китайское судно
По данным CNN, вооружённые силы США едва не досмотрели китайское судно на основании полностью ложного разведдонесения, составленного с помощью ИИ. В отчёте ошибочно утверждалось, что судно перевозит через Ближний Восток компоненты для ядерной оружейной программы.
Как сообщает CNN со ссылкой на четыре источника, знакомых с ситуацией, аналитик Командования специальных операций США использовал чат-бота для анализа разведданных о грузовом манифесте китайского судна. Инструмент объединил информацию из открытых источников с секретными данными радиоэлектронной разведки, находящимися в распоряжении правительства, в результате чего был подготовлен отчёт с ошибочным выводом о том, что судно перевозит компоненты ядерной оружейной программы.
На основании этого отчёта военные США начали готовиться к перехвату и досмотру судна, в готовности находилась авиационная поддержка. Операцию отменили лишь после того, как выяснилось, что чат-бот неверно определил характер груза на борту. Один из источников сообщил CNN, что этот случай "едва не привёл к войне".
Часть более широкой проблемы с ошибками ИИ
Инцидент считается одним из самых серьёзных на сегодняшний день примеров того, как "галлюцинация" искусственного интеллекта подорвала достоверность профессионального отчёта. С тех пор как в 2023 году слово "галлюцинировать" было признано словом года по версии Cambridge Dictionary, с похожими сбоями сталкивались журналисты, учёные, судьи, врачи, полицейские ведомства и корпоративные колл-центры. Некоторые исследователи считают, что полностью устранить склонность больших языковых моделей выдумывать информацию может быть в принципе невозможно, несмотря на попытки решить это с помощью прямых инструкций моделям.
Этот инцидент произошёл после того, как в январе Министерство обороны США представило "стратегию ускоренного внедрения ИИ", направленную на то, чтобы сделать данные в военных и государственных IT-системах более доступными для использования искусственным интеллектом.
