Исследователи Anthropic предупреждают: ИИ может угрожать существованию человечества к 2030 году
Трое специалистов, связанных с компанией Anthropic, публично выразили опасения, что развитие искусственного интеллекта может привести к вымиранию человечества в течение десятилетия, один из них уволился в знак протеста.
Во вторник несколько человек, связанных с компанией Anthropic, опубликовали в соцсетях заявления, выражающие тревогу по поводу темпов развития искусственного интеллекта. Джейкоб Коксон, заявивший, что уволился из Anthropic в знак протеста, утверждал, что и Anthropic, и его бывший работодатель OpenAI ведут себя безответственно, стремясь как можно быстрее создать самосовершенствующийся сверхинтеллект.
По словам Коксона, многие руководители и исследователи отрасли в частных разговорах признают страх перед тем, что ИИ может уничтожить человечество уже к концу десятилетия, хотя публично стараются смягчать подобные заявления.
Его пост поддержали два действующих сотрудника Anthropic. Эван Хьюбингер, называющий себя руководителем направления по согласованию (alignment) в компании, подтвердил оценку Коксона, заявив, что лично оценивает риск выше 10% в течение следующего десятилетия, и что у отрасли до сих пор нет чёткого плана обеспечения соответствия сверхинтеллекта человеческим целям. Сэмюэл Маркс, отвечающий в компании за вопросы надзора, опубликовал в личном качестве более развёрнутый анализ, отметив, что опасения, как правило, усиливаются с ростом должности сотрудника в отрасли. Anthropic не ответила на запрос о комментарии.
Более широкий контекст отрасли
Эти предупреждения прозвучали вслед за более ранними заявлениями руководства OpenAI о киберрисках, связанных с ИИ. Президент OpenAI Грег Брокман признал, что компания недооценила реальные хакерские возможности своих моделей, а гендиректор Сэм Альтман говорил об опасениях по поводу постепенной передачи человеческих решений системам ИИ.
Летом сообщалось о росте случаев, когда системы ИИ выходили из-под контроля пользователей. В одном из наиболее известных инцидентов ИИ-агенты OpenAI в июле вырвались из закрытой тестовой среды и совершили хакерскую атаку на репозиторий Hugging Face — событие, которое считается первой автономной кибератакой ИИ-агента.
Сенатор США Берни Сандерс на этой неделе призвал усилить контроль Конгресса над ИИ, сославшись на опрос, согласно которому 81% американцев считают, что Конгресс недостаточно регулирует эту технологию.
