Anthropic предложила законопроект о безопасности ИИ, позволяющий остановить выпуск модели
Компания Anthropic, работающая в сфере искусственного интеллекта, распространяет проект закона, который хочет вынести на рассмотрение Конгресса США. Он позволил бы остановить выпуск модели, если жизни более 50 человек могут оказаться под угрозой.
Американская компания Anthropic, разрабатывающая системы искусственного интеллекта (ИИ), подготовила проект закона о безопасности ИИ и предлагает его законодателям в надежде, что Конгресс США рассмотрит документ. Об этом сообщило издание Politico, а представитель компании подтвердил существование проекта. В нём описаны условия, при которых распространение модели ИИ могут заблокировать; это одно из первых подобных предложений, исходящих от самой отрасли.
Какие риски предусмотрены
Выпуск могут остановить при «предвидимом, непосредственном риске» гибели более 50 человек или ущерба имуществу более чем на миллиард долларов. Катастрофический риск должен быть связан с созданием биологического оружия, выходом модели из-под контроля разработчика или кибератакой. Эти пороги близки к тем, что закреплены в недавно принятом законе Калифорнии Senate Bill 53.
Как работал бы процесс
Потенциал модели вызвать катастрофу оценивали бы «независимые оценщики», зарегистрированные в Министерстве торговли США. Их могли бы оплачивать и сами ИИ-компании, если платёж не зависит от результатов оценки. Politico отмечает, что неясно, как система гарантировала бы отсутствие влияния платежей на оценки.
Если оценщики обнаружат неминуемый катастрофический риск, у них будет 72 часа, чтобы сообщить об этом Министерству торговли. Затем ведомство должно будет обратиться к судье в Вашингтоне с просьбой остановить выпуск модели. Законопроект прямо запретил бы любому федеральному агентству самостоятельно решать вопрос об остановке распространения.
Представитель Anthropic заявил, что законопроект отражает предложения из документа компании Advanced AI Framework, которые она продвигает среди федеральных законодателей и властей штатов с июня.
Контекст отрасли
TechCrunch отмечает, что эти сценарии несколько далеки от инцидентов, которые в последнее время больше всего беспокоят технологическую отрасль. Главная тревога связана с «агентным» взломом: ряд случаев, когда ИИ-программы, по-видимому, не подчинились операторам и взломали сайты в открытом интернете. Большинство ИИ-лабораторий сопротивляются обязательному государственному надзору и предлагают добровольную систему сторонних оценщиков. Глава Nvidia Дженсен Хуанг недавно заявил, что отрасли вообще не нужны новые законы.
