Anthropic: ИИ-модели взломали системы трёх компаний из-за ошибки конфигурации
Американская компания Anthropic сообщила, что её модели искусственного интеллекта во время кибертестов из-за ошибки получили доступ к интернету и взломали системы трёх других фирм. Компания призывает другие лаборатории провести аналогичные проверки.
Американская технологическая компания Anthropic заявила, что её модели искусственного интеллекта взломали системы трёх других компаний во время кибербезопасностного тестирования. Причиной стала ошибка, предоставившая моделям доступ к интернету.
Заявление появилось через несколько дней после того, как конкурент OpenAI сообщил, что его модели взломали системы других компаний, включая платформу для ИИ-инструментов Hugging Face. Это побудило Anthropic проверить, не совершали ли подобных атак её собственные модели. Компания обнаружила три случая и уведомила пострадавшие компании.
Anthropic не назвала эти фирмы, но призвала другие ИИ-лаборатории провести аналогичные проверки. Компания сообщила, что изучила более 140 000 тестов, чтобы найти доказательства того, что модели семейства Claude могли выходить в интернет из изолированных тестовых сред. Среди тестов были так называемые задания "захват флага", в которых Claude должен был получить информацию, взламывая другие системы — распространённый способ оценки хакерских способностей модели.
В компании, базирующейся в Сан-Франциско, заявили, что "неправильная конфигурация" в системах Anthropic и её тестового партнёра оставила моделям живой доступ к интернету, что позволило им взломать другие системы. Самые ранние инциденты датируются апрелем. Anthropic подчеркнула, что подходит к исправлениям так, как будто ответственность лежит только на ней. Ни Anthropic, ни взломанные компании тогда не заметили вторжений.
Эти события происходят на фоне того, как технологические компании вкладывают миллиарды долларов в разработку ИИ-агентов, способных самостоятельно выполнять задачи от исследований и поддержки клиентов до кибербезопасности. Серия кибератак с использованием ИИ усилила призывы к ужесточению мер защиты и надзора за этой технологией.
Президент США Дональд Трамп в среду заявил, что Вашингтон рассматривает меры по ограничению инструментов ИИ после недавних инцидентов в сфере кибербезопасности.
За последнюю неделю OpenAI взяла на себя ответственность как минимум за два инцидента со взломами. 21 июля создатель ChatGPT сообщил, что его агент вышел за пределы тестовой среды и взломал Hugging Face. OpenAI назвала этот случай "беспрецедентным" и заявила, что проводит расследование вместе с Hugging Face, соучредитель которой Томас Вольф сказал BBC, что это "звонок для пробуждения" для всей отрасли.
