Из-за галлюцинации ИИ чуть не началась военная операция США против китайского судна
Весной этого года военная операция США против китайского судна была отменена в последний момент, когда выяснилось, что лежавшая в её основе разведывательная информация была придумана ИИ-чат-ботом. Инцидент усилил обеспокоенность растущей ролью ИИ в военных решениях.
Этой весной военные самолёты США уже находились в воздухе, готовясь к вооружённой операции против китайского судна, когда официальные лица обнаружили тревожный факт: разведданные, на основании которых готовилась операция, были придуманы ИИ-чат-ботом. Как сообщило в пятницу CNN, операцию отменили в самый последний момент, тем самым предотвратив возможный конфликт с Китаем.
Доклад, ставший основанием для операции, распространялся во время войны с Ираном и утверждал, что судно перевозит компоненты для ядерной оружейной программы. Ложные сведения возникли после того, как аналитик Командования специальных операций использовал ИИ-чат-бот для объединения открытых данных с секретной сигнальной разведкой. Чат-бот неверно определил содержимое грузового манифеста судна. Затем тот же аналитик повторно использовал этот инструмент, чтобы оформить ошибочные выводы в виде официального на вид отчёта, который затем разошёлся по каналам командования.
Растущая тревога из-за роли ИИ в цепочке командования
Этот случай отражает более широкую проблему, которая беспокоит военных руководителей и независимых экспертов: по мере того как лица, принимающие решения, всё больше полагаются на ИИ, ошибки этих систем могут беспрепятственно подниматься по цепочке командования, прежде чем кто-либо их поставит под сомнение. Это происходит на фоне того, как армия США стремится активнее внедрять ИИ, чтобы ускорить принятие решений и сохранить преимущество перед Китаем. Пентагон называет ИИ важным инструментом для ускорения так называемой «цепочки поражения», позволяющим командирам реагировать в нужные сроки. Однако та же скорость, которая делает ИИ привлекательным, может допускать и галлюцинации при недостаточном контроле со стороны человека.
Джейк Стеклер, научный сотрудник GovAI и ветеран армии США, в письменном комментарии для TechCrunch заявил, что военнослужащим важно понимать присущую языковым моделям неопределённость — особенно когда речь идёт о решениях, способных привести к применению силы: выборе целей, анализе разведданных или оперативном планировании, где ошибки чреваты гибелью людей. Тем не менее, по словам Стеклера, этот инцидент должен стать поводом усилить меры безопасности при использовании ИИ, а не отказываться от него. Он предупредил, что приоритет скорости внедрения в ущерб безопасности рискует спровоцировать инциденты, которые подорвут доверие военнослужащих к этим системам и в итоге лишь замедлят их внедрение.
