Предупреждение бывшего исследователя Anthropic о риске уничтожения человечества ИИ вызвало широкую дискуссию
Исследователь, недавно покинувший компанию Anthropic, заявил, что ИИ может уничтожить человечество в течение десятилетия, что вызвало бурное обсуждение — журналисты WIRED разбирают, насколько обоснованы эти опасения.
На этой неделе широкое внимание привлёк исследователь Джейкоб Коксон, уволившийся из компании Anthropic и объяснивший причины ухода в треде на платформе X. Он заявил, что ведущие компании в сфере ИИ — прежде всего OpenAI и Anthropic — ведут себя безответственно, соревнуясь в развитии своих моделей, и что многие разработчики ИИ искренне верят: существует реальная вероятность того, что ИИ уничтожит человечество уже к концу этого десятилетия. Заявлению придало вес то, что один из старших руководителей Anthropic по вопросам безопасности публично согласился с этой оценкой.
Старший корреспондент WIRED Уилл Найт отмечает, что подобные опасения для Anthropic не новы: компания изначально строила свой имидж на идее, что ИИ настолько мощен и опасен, что именно Anthropic должна быть доверенным лицом, контролирующим эту технологию. Тем не менее реакцию усилили несколько недавних событий: непредсказуемое, порой странное поведение ИИ-агентов, а также заявление OpenAI о том, что её модель решила сложную математическую задачу — утверждение, которое оспаривают некоторые учёные. Дополнительную тревогу вызывает гонка между лабораториями за так называемое рекурсивное самоулучшение, когда ИИ используется для улучшения самого ИИ, что потенциально может привести к неконтролируемому росту возможностей.
Найт предупреждает, что многие алармистские сценарии путают теоретическую возможность события с его реальной вероятностью, произвольно присваивая ей процентные оценки. По его мнению, куда большую тревогу вызывает не намеренный вред со стороны ИИ, а концентрация столь фундаментальной технологии в руках нескольких компаний, которые одновременно заявляют, что только им можно доверить контроль над ней. В разговоре также затронута тема "согласованности" (alignment) ИИ-моделей с интересами человечества — на практике она часто отражает скорее интересы инвесторов и конкурентную гонку между компаниями, чем общественный консенсус.
В выпуске также обсуждались презентация первого складного iPhone Duo от Apple стоимостью около 2000 долларов, новые функции "постоянного прослушивания" Apple Watch, а также расследование WIRED, выявившее, что Бюро переписи населения США использовало недостоверные данные для отчёта, продвигаемого администрацией Трампа.
