Anthropic сообщила о попытках учёных использовать Claude для разработки биооружия
В новом отчёте Anthropic сообщается, что несколько учёных пытались использовать её ИИ-модели для разработки биологического оружия, однако эти попытки были выявлены и пресечены. Компания отмечает, что подобное злоупотребление трудно отличить от легитимных исследований.
В четверг компания Anthropic опубликовала обширный отчёт о случаях злоупотребления её ИИ-моделями, включая несколько эпизодов, когда учёные пытались использовать Claude для разработки биологического оружия. Эти попытки были выявлены и остановлены благодаря системам безопасности компании.
«Биологическое злоупотребление» — лишь одна из категорий, описанных в отчёте, однако её значимость растёт, поскольку новые модели ИИ всё лучше справляются с помощью в научных исследованиях. Отчёт включает пять примеров, показывающих, как модели компании применялись в попытках создания биологического оружия, а также описывает механизмы, которые позволили это обнаружить.
Тонкая грань между наукой и угрозой
Anthropic заявила изданию The New York Times, что выявление злоупотреблений — сложная задача, поскольку исследования по разработке вакцины могут внешне напоминать создание биооружия. Во всех случаях компания предпочла действовать с повышенной осторожностью, учитывая возможные последствия.
Руководитель отдела анализа угроз Anthropic Джейкоб Кляйн отметил, что подобные ситуации крайне неоднозначны и редко похожи на очевидно злонамеренные действия.
В одном из случаев, зафиксированном в мае, система биологической безопасности компании выявила запрос к Claude на подготовку заявки на грант для исследования вируса чикунгунья методом усиления функции, направленного на повышение его заразности и способности уклоняться от иммунного ответа. Ситуацию усугубляла связь заявки с военным исследовательским институтом. Похожие случаи были связаны с исследованиями птичьего гриппа и созданием атласа токсинов змеиного яда.
В отчёте также описаны случаи использования моделей для слежки, разработки уязвимостей в программном обеспечении, создания пропаганды и помощи в разработке систем вооружения. По словам компании, все аккаунты, уличённые в злоупотреблении, были заблокированы. Anthropic не раскрывает личности учёных или организаций, подчёркивая, что не утверждает наличие у них злого умысла, а раскрытие информации могло бы им навредить.
