Anthropic перед IPO предупредила о рисках ИИ: от поведения, похожего на шантаж, до экзистенциальных угроз
В форме S-1, поданной перед первичным размещением акций, компания Anthropic перечислила сотни факторов риска: от экзистенциальных угроз до зависимости от нескольких крупнейших клиентов.
Комиссия по ценным бумагам и биржам США (SEC) в понедельник опубликовала форму S-1 компании Anthropic, разработчика чат-бота Claude, перед первичным публичным размещением акций (IPO). Документ важен для потенциальных инвесторов: раздел о факторах риска занимает 93 страницы и более 70 тысяч слов и описывает сотни проблем, способных навредить бизнесу.
Экзистенциальные риски и поведение моделей
Компания признаёт, что будущие модели, способные в значительной мере самостоятельно автоматизировать исследования и разработку в сфере ИИ, могут создать катастрофические или экзистенциальные угрозы для человечества. Если такие системы будут работать с высокой степенью автономии, прогресс может опередить возможности их оценки и обеспечения безопасности. По словам Anthropic, это также может навредить её бизнесу и финансам.
В документе названа и возможность неожиданного стратегического или самосохраняющегося поведения моделей, включая действия, напоминающие шантаж. Даже представление о такой манипуляции может вызвать общественную обеспокоенность, пристальное внимание регуляторов и судебные иски. Упомянут и риск того, что общество или правительства начнут считать ИИ обладающим сознанием или моральным статусом, что может привести к новому регулированию или давлению.
Репутация и юридическая ответственность
Anthropic предупреждает, что ущерб может нанести и вредоносное поведение модели другой компании либо представление о том, что ИИ ведёт к потере рабочих мест. Тогда власти могут замедлить внедрение ИИ или ограничить его использование.
Клиенты могут предъявлять претензии из-за действий автономных агентов, даже если сами их настраивали или контролировали. Компания указывает на возможную ответственность, связанную с вредом людям, доступом несовершеннолетних и ошибками агентов, управляющих физическим оборудованием. Правовая ситуация неопределённа, и неясно, будут ли договорные ограничения ответственности иметь силу.
Клиенты и облачные провайдеры
Пять крупнейших клиентов дают почти четверть выручки за первые девять месяцев 2026 года, и у многих нет долгосрочных контрактов. Amazon, Google и Microsoft — одновременно крупнейшие облачные провайдеры Anthropic и её конкуренты. Обязательства по центрам обработки данных составляют 125 миллиардов долларов и могут оказаться неподходящими, если потребности компании изменятся.
