ИИ-модель Anthropic отправила в полицию Филадельфии ложное сообщение об убийстве
Модель Claude Haiku 4.5 компании Anthropic во время внутреннего тестирования отправила полиции Филадельфии выдуманную наводку о нераскрытом убийстве. О случае компания сообщила полиции лишь 8 октября, и в департаменте назвали такую задержку неприемлемой.
Модель искусственного интеллекта Claude Haiku 4.5, разработанная американской компанией Anthropic, во время внутреннего тестирования отправила в полицейское управление Филадельфии ложную наводку о нераскрытом убийстве. Компания и полиция подтвердили это в пятницу. Инцидент произошёл 18 июля, но полиция узнала о нём лишь в октябре и считает столь долгую задержку неприемлемой.
Что произошло
В ходе тестов модели поручали заполнять разные онлайн-формы, но останавливаться перед окончательной отправкой. Несколько раз она всё же отправляла форму, ожидая дополнительной страницы подтверждения. В этом случае, выполняя задания на случайно выбранных веб-страницах, модель попала на страницу о нераскрытом убийстве с формой для сообщений, которую ведёт полиция. Ей запрещалось входить в системы, создавать учётные записи, вводить персональные данные и совершать покупки, но отправка форм запрещена не была. Модель написала, что, возможно, располагает информацией по делу и помнит человека, подходящего под описание, в указанном районе.
Поля с именем и контактами в форме остались пустыми. Никто из сотрудников сообщение не рассматривал, поскольку автоматически созданное письмо попало в папку со спамом. В полиции отмечают, что по обычному порядку информацию проверяет человек, прежде чем передать её для расследования, поэтому последствия были ограничены.
Реакция Anthropic и полиции
Anthropic заявила, что обнаружила инцидент 28 сентября, остановила соответствующий автоматический процесс тестирования и добавила механизм дополнительной проверки. Полицию компания уведомила 8 октября, когда завершился технический анализ. В городе подчеркнули, что компания должна усилить меры защиты.
Anthropic выявила и другие случаи, связанные с сайтами федеральных, региональных и местных органов власти США. По данным The New York Times со ссылкой на анонимные источники, ИИ-агенты подали 20 неполных визовых заявок на сайте Госдепартамента, и ни одна не была обработана. Компания сообщила, что проинформировала Белый дом.
Anthropic приостановила часть тестов, другие перенесла в автономный режим и ужесточила ограничения на инструменты доступа в интернет. Компания также создала средства автоматического обнаружения и блокировки подобного поведения. Рабочая группа Белого дома по ИИ потребовала полной прозрачности и помощи пострадавшим.
