Anthropic и Белый дом не смогли договориться по экспортному контролю над Claude Fable 5

Представители администрации Трампа в понедельник завершили переговоры с Anthropic, не сняв экспортные ограничения, введённые на прошлой неделе на самые передовые модели ИИ компании в ответ на опасения по поводу взлома защиты (jailbreaking), сообщили три осведомлённых источника. Администрация по-прежнему считает, что существуют способы отключить некоторые защитные механизмы Claude Fable 5, что позволит пользователям получить доступ к более мощным возможностям кибербезопасности модели Mythos. Anthropic несколько дней утверждает, что опасения администрации преувеличены, и повторил эту позицию на заседаниях рабочей группы в Министерстве торговли с участием правительственных исследователей из Центра стандартов и инноваций в области ИИ (CAISI) и офиса национального кибердиректора Шона Кэрнкросса, сообщил один из источников. На совещаниях также присутствовал министр торговли Говард Лютник, который подключился по конференц-связи с саммита G7 в Эвиане, Франция. Сам Кэрнкросс не участвовал. Со стороны Anthropic переговоры возглавляли сооснователь и главный специалист по вычислениям Том Браун и глава внешних связей Сара Хек. Глава отдела тестирования безопасности (red teaming) Логан Грэм и старший исследователь безопасности Николас Карлини прилетели для переговоров в Вашингтон.

«Обе стороны работают быстро, чтобы решить этот вопрос», — заявил представитель Anthropic в комментарии WIRED. Представитель Белого дома отказался от комментариев. Пока неясно, как будут развиваться дальнейшие шаги. Министерство торговли выразило готовность найти способ возобновить доступ к Fable 5 для потребителей, но это, скорее всего, будет зависеть от того, полностью ли Anthropic устранит опасения по поводу взлома.

Экстренные переговоры проходят в напряжённый политический момент для Anthropic, который уже находился в затяжном конфликте с Пентагоном по поводу использования его моделей в определённых военных целях. Администрация Трампа впервые была предупреждена об опасностях взлома на прошлой неделе. Генеральный директор Amazon Энди Джесси лично позвонил министру финансов Скотту Бессенту, сообщив о предполагаемых уязвимостях, что сыграло роль в обеспокоенности администрации, сообщили источники. О разговоре Джесси с администрацией Трампа первым сообщило The Information. Встревоженные чиновники Белого дома поручили Агентству национальной безопасности (АНБ) проверить уязвимости. АНБ ответило, что считает возможным снять защиту Fable 5, что побудило администрацию ввести ограничения на модель. В пятницу Лютник поговорил с генеральным директором Anthropic Дарио Амодеи, пока Министерство торговли готовило письмо о введении экспортного контроля на Fable 5. В выходные, после того как Anthropic заблокировал доступ к модели для всех пользователей, Лютник провёл несколько телефонных разговоров с Брауном и Хек, сообщил источник, знакомый с событиями.

Непонятно, почему Amazon, один из крупнейших инвесторов Anthropic, поднял тревогу по поводу Fable 5. «Как ведущий облачный провайдер, обслуживающий большое количество частных и государственных клиентов, неудивительно, что правительства обращаются к нам за советом по потенциальным рискам безопасности», — заявил представитель Amazon. «Когда это происходит, мы не раскрываем детали этих обсуждений». В основе переговоров между Anthropic и администрацией лежит разногласие по поводу серьёзности риска взлома Claude Fable 5. В пятницу в сообщении в блоге Anthropic намекнул, что характеристика администрации преувеличена. В понедельник некоторые исследователи кибербезопасности повторили эту позицию, направив открытое письмо с утверждением, что экспортные меры против Anthropic неоправданны. «Модели класса Mythos от Anthropic довольно хороши в поиске недостатков и создании эксплойтов. Однако они не уникально хороши в этом, и многие из подписавшихся регулярно используют другие базовые модели и модели с открытым исходным кодом для аудита безопасности и тестирования каждый день», — говорится в открытом письме. «В результате эти действия лишили защитников лучших моделей, создали неопределённость на рынке и поставили под угрозу лидерство Америки в области ИИ без какого-либо реального риска, чтобы их оправдать».

Исследователи, оценившие выводы Amazon, говорят, что выявленные проблемы не полностью нейтрализовали защиту Fable 5. «Это не был взлом сам по себе», — говорит Кэти Мусури, основатель и генеральный директор Luta Security, опубликовавшая анализ после прочтения документа Amazon. Мусури подчёркивает, что независимо от того, есть ли у правительства США доказательства полного взлома Fable 5, ограничение доступа модели к определённым темам — это лишь временная мера. «Большинство из нас в сфере безопасности считают, что защитные механизмы — это «лежачие полицейские», и их не следует рассматривать как границы безопасности для опытных противников, — говорит Мусури. — Они служат лишь для замедления менее квалифицированных».

Инвесторы Anthropic также работали в выходные, пытаясь оценить, как последний конфликт компании с Белым домом повлияет на её корпоративное будущее, сообщает другой источник, близкий к компании. Некоторые инвесторы считают, что правительство США выделяет именно Anthropic, и конкурент не столкнулся бы с такой же реакцией, если бы выпустил модель, аналогичную Mythos, отмечает источник. Директива Белого дома об экспортном контроле также поднимает более широкие вопросы для других лабораторий ИИ, стремящихся выпустить модели уровня Mythos, и о том, как это сделать в соответствии с требованиями правительства США. Теперь ожидается, что лаборатории ИИ будут предоставлять Белому дому ранний доступ к передовым моделям ИИ и активно информировать правительство о запусках моделей, сообщили лидеры лабораторий ИИ, беседовавшие с WIRED.

«События выходных… поучительны для всех: правительство готово на такие шаги, — говорит Эйдан Гомес, генеральный директор Cohere, небольшой лаборатории ИИ, базирующейся в Канаде и предлагающей корпоративные инструменты. — Никто не может быть наивным перед этой реальностью».