Глава отдела безопасности Anthropic: вероятность гибели человечества из-за ИИ превышает 10%
Руководитель одной из команд безопасности Anthropic заявил, что вероятность гибели всего человечества из-за ИИ к концу десятилетия превышает 10%, — это прозвучало через несколько часов после того, как коллега покинул компанию, раскритиковав беспечный подход к безопасности.
Эван Хубингер, возглавляющий одну из команд безопасности в компании Anthropic, заявил, что, по его мнению, вероятность гибели всего человечества из-за искусственного интеллекта в течение следующего десятилетия превышает 10%. Его высказывание прозвучало спустя несколько часов после того, как исследователь Джейкоб Коксон, ранее обучавший ИИ-системы и в Anthropic, и в OpenAI, объявил об уходе из компании.
В публикации на платформе X Коксон объяснил свой уход слишком беспечным подходом Anthropic к вопросам безопасности. Он обвинил как Anthropic, так и конкурирующие лаборатории в безрассудной гонке за создание самосовершенствующихся "сверхразумных" систем, ставящей под угрозу жизни людей, отметив, что сами разработчики технологии, по его словам, искренне верят: она может уничтожить человечество уже к концу десятилетия.
Опасения по поводу самосовершенствования ИИ
Представители индустрии уже давно предупреждают об опасностях так называемого рекурсивного самосовершенствования — сценария, при котором системы ИИ начинают улучшать сами себя настолько быстро, что выходят из-под контроля человека. Хотя этот сценарий пока не реализовался, компании активно движутся в этом направлении, и значительная часть современного кода для ИИ уже пишется с помощью самого ИИ.
Хубингер в ответ на пост Коксона отметил, что процесс самосовершенствования ИИ развивается быстрее, чем ожидалось, и согласился с оценкой рисков коллеги. Вместе с тем он признал, что у Anthropic пока нет конкретного плана обеспечения безопасности и соответствия продвинутых систем ИИ человеческим ценностям, и компания даже не уверена, что движется к разработке такого плана.
Уход Коксона стал одним из самых заметных случаев увольнения из Anthropic — компании, основанной бывшими сотрудниками OpenAI именно из-за опасений в сфере безопасности. В последние годы несколько исследователей называли схожие причины, покидая и саму OpenAI.
Эта ситуация отражает растущую обеспокоенность в индустрии темпами разработки всё более сложных моделей ИИ, особенно на фоне подготовки компаний к ожидаемым публичным размещениям акций. Она также последовала за рядом инцидентов с непредсказуемым поведением автономных ИИ-агентов и заметными предупреждениями о трудностях мониторинга самых передовых моделей.
