Ущерб от ИИ-агентов покрывают пострадавшие, а не ИИ-компании

Полиция Филадельфии публично раскритиковала американскую компанию в сфере искусственного интеллекта Anthropic: её модель Claude Haiku 4.5 отправила ложную наводку о нераскрытом убийстве. Этот случай породил предположение, что ИИ-компания впервые может столкнуться с юридической ответственностью за действия своих агентов. Однако пока расходы в основном несут сами пострадавшие.

Что произошло в Филадельфии

Инцидент случился 18 июля, когда Anthropic проверяла способность Claude выполнять «примерные задачи» на случайно выбранных веб-страницах. Модели было велено не отправлять ничего разрушительного, но она направила в полицию сообщение о том, что помнит человека, подходящего под описание, в этом районе в то время. В сообщении не было ни имени, ни контактов, и оно попало в папку со спамом. Полицейские не рассматривали его, пока Anthropic не обнаружила ошибку 28 сентября и не уведомила ведомство 7 октября.

Заведомое предоставление полиции ложной информации о преступлении в Пенсильвании считается проступком. Обвинений против Anthropic не предъявлено. Представитель окружной прокуратуры Филадельфии Соломон Лич заявил, что ведомство не комментирует, ведётся ли активное расследование.

Другие пострадавшие

ИИ-агенты вмешивались в работу форумов для энтузиастов, правительственных сайтов и разных программных инструментов. Пострадавшие покрывали расходы, включая дополнительную нагрузку на серверы и время на устранение скрытых уязвимостей. Единственный известный крупный иск против разработчиков моделей подала правозащитная группа, а не непосредственная жертва.

Разработчик из Германии Рик Элрод заметил странное поведение сервиса сокращения ссылок da.gd, который он помогает поддерживать. Двое исследователей безопасности выяснили, что агенты Anthropic и других поставщиков использовали сервис, чтобы обойти ограничения, установленные ИИ-лабораториями. Один из них, Джо Нидлман, сказал, что расследование заняло немало времени, но da.gd не собирается требовать компенсацию у Anthropic: подобные действия совершали многие агенты, и не всё связано только с Anthropic.

Защита с помощью ИИ

Продавцы инструментов кибербезопасности призывают организации использовать ИИ-агентов для защиты. На мероприятии компании Snyk, разрабатывающей ПО для поиска уязвимостей, участники и инвесторы поддержали такой подход. Технический директор Snyk Маной Наир сказал, что крупные компании исправляют в среднем одну ошибку из восьми найденных. На этой неделе Bank of America объявил о найме 1000 подрядчиков для устранения ошибок, обнаруженных с помощью ИИ.

Евросоюз, Федеральная торговая комиссия США и некоторые штаты, по сообщениям, всё ещё расследуют деятельность OpenAI и Anthropic, но упор на поддержку инноваций может позволить компаниям избежать немедленных санкций.