В документах Anthropic к IPO 94 страницы посвящены рискам, включая самоулучшение ИИ
Компания Anthropic, разрабатывающая искусственный интеллект, подала проспект первичного публичного размещения акций (IPO). Основная часть документа посвящена факторам риска, среди которых выделено рекурсивное самоулучшение.
Разработчик искусственного интеллекта (ИИ) Anthropic официально подал проспект первичного публичного размещения акций (IPO), обнародовав ряд ранее закрытых сведений. Наряду с данными о выручке и расходах самая большая часть документа, 94 страницы, отведена факторам риска, то есть обстоятельствам, способным нарушить планы компании. Документ показывает, чего опасается компания и почему всё равно продолжает развивать эту технологию.
Экзистенциальные риски
В проспекте сказано, что достаточно развитые системы ИИ, если их разрабатывают, внедряют и эксплуатируют без надлежащих мер защиты, надзора и безопасности, могут создавать катастрофические или экзистенциальные угрозы для человечества. Словосочетание «экзистенциальные риски» встречается в тексте трижды. Такой исход Anthropic связывает с конкретным процессом — рекурсивным самоулучшением.
Это состояние, при котором люди передают исследования и разработку моделей ИИ другим моделям ИИ. ИИ уже играет большую роль в разработке, и как минимум одна лаборатория применяла нечто близкое к этому подходу, чтобы ускорить работу над моделью. Тревогу вызывает сценарий, в котором люди в процессе больше не участвуют. В документе говорится, что риски будут расти, если исследования в области ИИ будут в значительной мере автоматизированы, а прогресс опередит способность оценивать и защищать новые модели. Компания может даже не заметить, что проиграла эту гонку, пока не станет слишком поздно.
Также описаны риски того, что более автономные системы с меньшим человеческим надзором могут самостоятельно и в большом масштабе совершать вредные действия из-за несоответствия намерениям людей, ошибок в постановке целей или поведения, направленного на самосохранение. Если модели управляют физическим оборудованием, ошибки или злоупотребления могут привести к травмам, ущербу имуществу или выбросу опасных веществ, причём последствия могут быть мгновенными и необратимыми.
Риск и конкуренция
В разделе о ключевых преимуществах Anthropic называет ту же динамику «замыканием петли» и считает её одним из важнейших структурных преимуществ в передовом ИИ. Если этого не сделать, компания может всё сильнее отставать от конкурентов, которые используют ИИ для улучшения собственных разработок.
С таким противоречием сталкиваются все компании отрасли. Бывший исследователь Anthropic Джейкоб Коксон, громко уволившись, поставил ограничение рекурсивного самоулучшения на первое место в списке пожеланий к отрасли. В Конгрессе США несколько законопроектов, включая один, соавтором которого выступает Берни Сандерс, предлагают запретить его. При этом это коммерческие компании, на кону у которых триллионы долларов. Anthropic не сразу ответила на запрос о комментарии.
