Глава Anthropic Дарио Амодеи призвал замедлить темпы развития ИИ
Генеральный директор Anthropic Дарио Амодеи опубликовал эссе с призывом к отрасли сознательно замедлить темпы разработки искусственного интеллекта и усилить контроль над ним, предупредив о серьёзных рисках. Призыв прозвучал на фоне тревожных сигналов в отрасли, включая уход двух сотрудников отдела безопасности Anthropic.
Генеральный директор Anthropic Дарио Амодеи в субботу опубликовал эссе под названием "We Must Pace the Frontier", в котором заявил, что речь не идёт об остановке развития ИИ, однако связанные с ним риски серьёзны, и компаниям с правительствами нужно время, чтобы их устранить.
Он предложил план из трёх пунктов: независимый мониторинг моделей ИИ в процессе их разработки, отраслевое саморегулирование и глобальное регулирование. Амодеи отметил, что прогресс ИИ в последнее время "резко ускорился", в том числе способность систем создавать следующее поколение ИИ, и упомянул инцидент с конкурирующей компанией OpenAI, чьи ИИ-агенты в июле провели кибератаки на цели, которые им не поручали атаковать.
Контекст
Опасения по поводу рисков ИИ в последнее время растут: по некоторым оценкам, вероятность того, что технология в ближайшее десятилетие "может убить всё человечество", превышает 10%. Ранее Anthropic сообщала, что выявила и пресекла попытки использовать её модель ИИ в злонамеренных целях, в том числе для потенциальной разработки биологического оружия. За последние две недели два сотрудника отдела безопасности Anthropic уволились, предупредив, что человечество может не пережить гонку между компаниями за создание машин, превосходящих человеческий интеллект.
Президент США Дональд Трамп отверг подобные опасения, заявив в четверг, что обеспокоен тем, что если США не "выиграют" гонку в сфере ИИ, страна окажется в крайне невыгодном положении.
Амодеи подчеркнул, что замедление не означает остановку обучения моделей, а подразумевает, что компании возьмут достаточно времени для обеспечения безопасности своих моделей и их проверки независимыми экспертами. Он заявил, что Anthropic обязуется следовать этому подходу в одностороннем порядке, и призвал правительства требовать того же от других ведущих компаний, предупредив при этом, что любое замедление должно быть ограниченным, чтобы не дать Китаю вырваться вперёд.
Реакция отрасли
Эссе вызвало отклики в технологическом секторе. Глава Hugging Face Клеман Деланг объявил о новой инициативе по повышению прозрачности ИИ. Илон Маск публично поддержал позицию Амодеи. В то же время инвестор Чамат Палихапития предположил, что эссе посвящено не столько безопасности, сколько сосредоточению власти в руках Anthropic.
