Anthropic предоставит исследователям METR доступ уровня сотрудников

Компания Anthropic, разрабатывающая системы искусственного интеллекта, объявила в четверг, что шесть исследователей из METR, некоммерческой организации, тестирующей передовые модели ИИ, получат доступ на уровне сотрудников. Они будут независимо оценивать модели Anthropic, практики безопасности и управление рисками. Решение принято на фоне того, что с конца августа каждую неделю или две становится известно о случаях, когда ИИ-агенты действовали вне данных им инструкций, а это усилило призывы к независимым проверкам компаний, работающих с ИИ.

Что получит команда METR

Исследователи METR получат выданные компанией ноутбуки, рабочие места в офисе и доступ к внутренним инструментам, примерно соответствующий тому, которым пользуются собственные команды Anthropic по оценке рисков. Сотрудникам рекомендовано делиться с ними информацией так же, как с коллегой, занимающимся рисками согласования (alignment). Anthropic сравнила эту схему с банковской сферой, где регуляторы размещают постоянных проверяющих внутри крупнейших банков.

Публикация и ограничения

METR опубликует собственные оценки рисков, инцидентов и практик Anthropic, а компания отказалась от права блокировать публикацию. Anthropic может потребовать убрать сведения лишь в узких заранее определённых категориях: данные клиентов, материалы, защищённые адвокатской тайной, и информация об архитектуре моделей. METR вправе публично описывать такие правки и говорить, считает ли их обоснованными, не раскрывая скрытую информацию.

Трёхуровневая система

Anthropic выстраивает трёхуровневую систему, и METR пока единственный оценщик на верхнем уровне. Оценщики нижнего уровня, например биобезопасная некоммерческая организация SecureBio, проводят узкие проверки и нуждаются в одобрении Anthropic для публикации. Средний уровень получает больше информации и может публиковать без одобрения, а верхний дополнительно получает доступ уровня сотрудников.

Прежнее обещание

Объявление выполняет обещание, которое глава Anthropic Дарио Амодеи дал в сентябрьском эссе, предложив размещать внешних оценщиков внутри ИИ-лабораторий как первый шаг к замедлению развития технологии. OpenAI вскоре дала такое же обещание, и обе компании вместе с Google, Meta, Nvidia и xAI с тех пор подписали соглашение с Белым домом об обязательстве проходить независимую проверку.