Anthropic предупреждает: компания может скоро достичь собственного порога рекурсивного самоусовершенствования
В обновлённой заявке S-1A американская ИИ-компания Anthropic сообщает, что может в ближайшее время достичь собственного определения резко ускоренного прогресса за счёт ИИ. При этом ни одна из её текущих моделей этот порог пока не превысила.
Американская компания Anthropic, разработчик моделей Claude в сфере искусственного интеллекта, в пересмотренной регистрационной заявке S-1A (документ, который компания подаёт при подготовке к размещению акций), опубликованной в понедельник, 2 ноября, предупредила, что может приблизиться к рекурсивному самоусовершенствованию (RSI). Так называют момент, когда ИИ настолько хорошо обучает сам себя, что возможности ИИ резко ускоряются. Это важно, поскольку сама компания считает такое ускорение серьёзным риском для безопасности.
Что говорится в документе
В разделе о факторах риска Anthropic сообщает, что всё чаще использует ИИ в собственных исследованиях и разработках. По словам компании, это может привести к тому, что возможности моделей будут расти быстрее, чем она успевает создавать, проверять и внедрять соответствующие меры безопасности, согласования и защиты. Anthropic признаёт, что раньше не замечала существенного ускорения темпов разработки, пока оно уже не произошло, и что так может случиться и впредь.
Компания пишет, что её внутренние оценки и ожидания относительно будущих, а не текущих моделей указывают на то, что она может в ближайшее время соответствовать определению «резко ускоренного прогресса, обусловленного ИИ» из своей Политики ответственного масштабирования (Responsible Scaling Policy). Ни одну из нынешних моделей компания не признала превысившей этот порог и продолжает изучать данные.
Сохранение контроля за людьми
Anthropic также заявляет, что в обозримом будущем сохранит людей в процессе исследований и разработок. В документе сказано, что компания не рассчитывает безопасно использовать Claude для полностью автономного создания следующих поколений передовых моделей без существенного надзора и понимания со стороны людей. Поэтому рассматриваются изменения в Политике ответственного масштабирования, чтобы люди сохраняли контроль над разработкой таких моделей.
Мнение скептиков
TechCrunch отмечает, что документ S-1 служит одновременно раскрытием информации и маркетингом, поэтому заявления о приближении к самостроящейся модели отчасти могут относиться ко второму. Издание добавляет, что возможности Claude, особенно в программировании, математике и кибербезопасности, в этом году заметно выросли.
