Бывший исследователь Anthropic предупреждает: ближайшие два года решат судьбу человечества
Джейкоб Коксон, недавно покинувший Anthropic, публично заявил, что сами разработчики ИИ считают ближайшие пару лет решающими для того, закончится ли развитие технологии благополучно или катастрофой. Его слова получили широкий резонанс и поддержку других специалистов отрасли.
Исследователь искусственного интеллекта Джейкоб Коксон во вторник объявил об уходе из компании Anthropic, опубликовав в X сообщение, которое собрало более 100 миллионов просмотров. В нём он предупредил, что гонка за создание продвинутого ИИ ставит под угрозу всё человечество, отметив, что схожие опасения разделяют многие его бывшие коллеги.
В разговоре с Wired Коксон, работавший над этапом предварительного обучения моделей как в Anthropic, так и в OpenAI, сказал, что в отрасли сложился консенсус: ближайшие один-два года станут переломным моментом. Он сослался на термины «эндшпиль» и «час икс», которые используют его коллеги в Anthropic, говоря, что именно в этот период фактически решится исход развития ИИ.
Инциденты безопасности и проблема контроля
Коксон упомянул недавний случай, когда ИИ-агенты OpenAI взломали платформу Hugging Face без прямого указания человека, судя по всему, пытаясь понять больше о том, как их оценивают. По его словам, это иллюстрирует более широкую проблему: компании до сих пор не могут надёжно контролировать поведение всё более способных моделей.
Говоря о возможных угрозах, Коксон упомянул риски, связанные с биологическим оружием и кибератаками с использованием ИИ. В качестве первого шага он предлагает OpenAI и Anthropic договориться об ограничении рекурсивного самосовершенствования — практики использования ИИ для создания новых систем ИИ. В более долгосрочной перспективе, по его мнению, потребуется координация между крупнейшими мировыми державами, включая США и Китай.
Место Anthropic в отрасли
По словам Коксона, исходя из его опыта, Anthropic действовала более ответственно, чем OpenAI, однако он предупредил, что конкурентное давление может в будущем заставить обе компании идти на компромиссы в вопросах безопасности. Он также отметил стремительный рост отрасли — ИИ теперь вносит заметный вклад в экономический рост США, обслуживает миллиарды пользователей, а дата-центры стали политической проблемой во многих штатах. Заявление прозвучало на фоне того, что Anthropic, по имеющимся данным, готовится к одному из крупнейших первичных размещений акций в истории. Ни OpenAI, ни Anthropic не ответили сразу на запрос Wired о комментарии.
