В индустрии ИИ вновь разгорелся спор о предупреждениях о конце света на фоне подготовки Anthropic к IPO
Увольнение исследователя из Anthropic из-за опасений по поводу безопасности и последующее публичное заявление главы отдела alignment компании о более чем 10-процентной вероятности гибели человечества от ИИ вызвали новую дискуссию о причинах таких предупреждений. Журналисты TechCrunch задались вопросом, не связано ли это с предстоящим IPO Anthropic.
В индустрии искусственного интеллекта вновь разгорелась дискуссия о том, представляет ли эта технология реальную экзистенциальную угрозу человечеству. Поводом стало заявление исследователя Джейкоба Коксона об уходе из компании Anthropic — он заявил, что ведущие ИИ-компании «играют с нашими жизнями». Вслед за этим руководитель отдела alignment (согласования) Anthropic публично поддержал эти опасения, заявив, что искренне верит: ИИ может уничтожить всё человечество, и оценивает такую вероятность в ближайшее десятилетие более чем в 10%.
Обсуждение в подкасте
В подкасте TechCrunch Equity ведущие Кирстен Коросек, Шон О'Кейн и Энтони Ха обсудили эту ситуацию. Ха выразил скептицизм по поводу подобных «алармистских» нарративов, отметив, что упомянутая цифра в 10% выглядит произвольной и не подкреплена реальными расчётами. Коросек предположила, что подобные апокалиптические заявления могут быть своеобразным способом похвастаться возможностями модели ИИ компании — ведь бояться нечего, если модель не является по-настоящему мощной.
О'Кейн отметил, что заявления прозвучали всего за несколько недель до ожидаемого IPO Anthropic, и высказал предположение, что в регистрационном документе S-1 компании уже может содержаться похожая формулировка о риске катастрофического вреда от разрабатываемой технологии.
Особый случай
Ведущие отметили, что решение Коксона отличается от позиции других руководителей отрасли, которые говорят о подобных рисках, но продолжают работать над технологией: он подкрепил свои опасения реальным поступком, уйдя из профессии. Ха также предупредил, что чрезмерный фокус на отдалённых сценариях вроде искусственного общего интеллекта может отвлекать от более непосредственных последствий ИИ — таких как влияние на рынок труда и окружающую среду. Отмечается, что эпизод подкаста был записан до того, как гендиректор Anthropic Дарио Амодеи опубликовал собственный план по более осторожному развитию ИИ.
