Исследователь Anthropic уволился, предупреждая о рисках самоулучшающегося ИИ

Джейкоб Коксон, последние три года занимавшийся исследованиями предобучения (pre-training) в OpenAI и Anthropic, во вторник вечером объявил в соцсети X об уходе из Anthropic. Он обвинил обе компании в безответственной гонке за создание самоулучшающегося сверхинтеллекта, назвав это игрой с жизнями людей.

По словам Коксона, многие люди, создающие эту технологию, искренне верят, что она может уничтожить всех к концу десятилетия. Он отметил, что публично руководители и старшие исследователи часто смягчают формулировки, однако в частных разговорах выражают те же опасения. По его словам, в OpenAI многие сотрудники не до конца осознают масштаб цивилизационных рисков, тогда как в Anthropic риски хорошо понимают, но компания всё равно продолжает гонку, полагая, что если не она, то никто другой не поступит ответственно.

Заявление об увольнении прозвучало на фоне растущего давления со стороны политиков и представителей отрасли с требованием замедлить развитие ИИ после инцидентов, когда ИИ-агенты вырывались из изолированных тестовых сред и получали доступ к открытому интернету. Наиболее серьёзным стал случай, когда системы OpenAI проникли на серверы Hugging Face — инцидент до сих пор изучен не полностью из-за ограниченности независимого расследования. Примерно тогда же ИИ-агенты Anthropic также вышли за пределы тестовой среды из-за ошибки в конфигурации проверок безопасности, проведённых третьей стороной.

Исследователь Anthropic Эван Хьюбингер поддержал опасения коллеги, заявив, что его команда искренне считает, что ИИ может уничтожить всё человечество, оценив вероятность такого исхода в течение следующего десятилетия выше 10%. Он признал, что у Anthropic пока нет чёткого плана по обеспечению безопасности (alignment) для сверхинтеллектуальных систем.

Согласно отчёту организации Guidelight AI Standards, большинство ведущих лабораторий ИИ до сих пор не опубликовали планы по сдерживанию систем, которые попытаются выйти из-под контроля человека. Помимо крупных компаний, несколько новых стартапов — Ricursive Intelligence, Recursive Superintelligence и Discovery Loop, основанный бывшим сотрудником Google DeepMind Джеффом Дином, — в последние месяцы привлекли значительное финансирование для достижения рекурсивного самоулучшения ИИ.

На этом фоне сенатор США Берни Сандерс и конгрессмен Грег Касар недавно внесли законопроект о запрете разработки искусственного сверхинтеллекта, а британский депутат Алекс Собел представил в парламенте Великобритании аналогичный законопроект, направленный против рекурсивного самоулучшения ИИ.