Что стоит за новой волной апокалиптических предупреждений в сфере ИИ
Увольнение сотрудника Anthropic из-за опасений об экзистенциальной угрозе и заявление руководителя направления безопасности компании о вероятности гибели человечества выше 10% вызвали новую дискуссию — на фоне подготовки Anthropic к IPO.
В индустрии искусственного интеллекта разгорелась острая дискуссия о том, представляет ли технология экзистенциальную угрозу человечеству. Спор начался после того, как исследователь Джейкоб Коксон объявил об увольнении из Anthropic, объяснив это опасениями, что ведущие компании в сфере ИИ "играют с нашими жизнями". Его заявление подхватил руководитель направления безопасности (alignment) Anthropic, публично заявив, что он искренне верит: ИИ может убить всех людей, оценивая вероятность этого выше 10% в течение следующего десятилетия.
Обсуждение в подкасте TechCrunch
В подкасте Equity от TechCrunch ведущие Кирстен Коросек, Шон О'Кейн и Энтони Ха обсудили эти предупреждения. Ха выразил скепсис по поводу масштабных "апокалиптических" нарративов об ИИ, а Коросек предположила, что подобные заявления могут быть своеобразным способом продемонстрировать, насколько продвинутыми стали модели компании — особенно на фоне подготовки к выходу на биржу.
Связь с готовящимся IPO
О'Кейн отметил, что Anthropic, по ожиданиям, подаст документ S-1 для IPO в течение нескольких недель, и задался вопросом, как подобные заявления об экзистенциальном риске могут отразиться в этом юридическом документе — не приходится ли юристам сейчас переписывать раздел о факторах риска с учётом оценки вероятности выше 10%. Коросек заметила, что в обычной инвестиционной среде такая формулировка могла бы снизить оценку компании, однако в текущих рыночных условиях воспринимаемая опасность и мощь технологии могут, напротив, повысить её ценность.
Разговор состоялся до того, как генеральный директор Anthropic Дарио Амодеи опубликовал собственный план более осторожного развития ИИ. Ха отметил, что чрезмерный акцент на далёкой экзистенциальной угрозе может отвлекать внимание от более непосредственного вреда, который ИИ наносит уже сейчас, включая последствия для рынка труда и окружающей среды.
