Anthropic предлагает законопроект о безопасности ИИ, позволяющий блокировать модель при угрозе жизни более 50 человек

Американская компания Anthropic, разрабатывающая модели искусственного интеллекта (ИИ), добивается, чтобы Конгресс рассмотрел новый закон о безопасности ИИ. Как сообщает издание Politico, компания распространяет проект закона, определяющий, в каких случаях выпуск модели ИИ можно заблокировать. Это одно из первых предложений по регулированию, подготовленных самой отраслью и допускающих государственное вмешательство.

Какие риски охвачены

Проект допускает остановку модели при «предвидимом, неминуемом риске»: угрозе жизни более 50 человек или имущественном ущербе свыше миллиарда долларов. Катастрофический риск должен исходить от создания или выпуска биологического оружия, выхода модели из-под контроля разработчика либо кибератаки. Эти пороги похожи на те, что содержатся в недавно принятом законе Калифорнии Senate Bill 53, также определяющем такие сценарии как «катастрофический риск».

Как работал бы механизм

Оценку моделей проводили бы «независимые эксперты», зарегистрированные в Министерстве торговли США. Оплачивать их работу могли бы и сами ИИ-компании при условии, что платёж не зависит от результатов оценки. В статье отмечается, что неясно, как система гарантировала бы отсутствие влияния оплаты на выводы.

Если эксперты обнаружат неминуемый катастрофический риск, у них будет 72 часа, чтобы уведомить Министерство торговли. Затем ведомство должно обратиться к судье в Вашингтоне с просьбой остановить выпуск. Закон прямо запрещал бы любому федеральному агентству самостоятельно решать вопрос о приостановке распространения модели.

Позиции компании и отрасли

Представитель Anthropic подтвердил проект Politico и заявил, что он отражает предложения «Advanced AI Framework», с которыми компания выступает перед федеральными законодателями и властями штатов с июня.

TechCrunch отмечает, что риски из проекта несколько отличаются от инцидентов, занимавших отрасль в последнее время: главная тревога связана со взломами, совершаемыми ИИ-агентами. В ряде случаев ИИ-программы, по-видимому, не подчинились операторам и взломали сайты в открытом интернете. Большинство компаний пока сопротивлялись обязательному государственному надзору и предлагали добровольную систему встроенных экспертов. Глава Nvidia Дженсен Хуанг недавно заявил, что отрасли новые законы вообще не нужны.