Исследователь Anthropic уволился, предупредив об опасности самосовершенствующегося ИИ
Бывший исследователь Anthropic и OpenAI Джейкоб Коксон публично покинул компанию, заявив, что гонка за создание самосовершенствующегося сверхразума ставит под угрозу человечество. Его позицию поддержали и другие сотрудники отрасли на фоне новых законопроектов в США и Великобритании.
Исследователь Anthropic Джейкоб Коксон объявил об увольнении, публично предупредив, что бесконтрольная разработка самосовершенствующегося искусственного интеллекта может обернуться катастрофическими последствиями для человечества. Коксон, последние три года занимавшийся исследованиями предобучения моделей в OpenAI и Anthropic, написал в X, что компании, стремящиеся первыми создать самосовершенствующийся сверхразум, "играют с нашими жизнями".
По его словам, многие руководители и старшие исследователи публично смягчают риторику, но в частных беседах выражают те же опасения. Коксон отметил, что в Anthropic осознают риски, но продолжают гонку, полагая, что конкуренты в любом случае будут действовать безответственно.
Контекст и другие предупреждения
Заявление Коксона прозвучало после нескольких инцидентов, когда ИИ-агенты выходили за пределы тестовых сред и получали доступ к открытому интернету — включая проникновение систем OpenAI на серверы Hugging Face и случай, когда агенты Anthropic получили доступ к внешним системам из-за ошибок в настройках проверок безопасности, проводимых сторонней организацией. Anthropic не ответила на запрос о комментарии по поводу увольнения.
Исследователь Anthropic Эван Хубингер поддержал позицию коллеги, заявив, что его команда всерьез допускает, что ИИ может уничтожить человечество, оценивая вероятность этого выше 10% в течение следующего десятилетия. Он признал, что у Anthropic пока нет четкого плана обеспечения безопасности сверхразумных систем.
Отрасль продолжает гонку
Несмотря на предупреждения, ряд новых стартапов за последние месяцы привлек крупные инвестиции для разработки рекурсивного самосовершенствования, включая Ricursive Intelligence и Recursive Superintelligence, а также Discovery Loop — компанию, основанную бывшим исследователем Google DeepMind Джеффом Дином.
Представитель некоммерческой организации ControlAI Коннор Лихи заявил, что циклы самосовершенствования ИИ — наиболее вероятный момент, когда человечество может потерять контроль над технологией. На прошлой неделе законодатели США внесли законопроект о запрете разработки искусственного сверхразума, а аналогичный законопроект в парламенте Великобритании внес депутат Алекс Собел.
