OpenAI ввела в совет директоров известного исследователя рисков ИИ Пола Кристиано
Совет директоров OpenAI Foundation пополнил исследователь Пол Кристиано, предупреждающий о риске катастрофической потери контроля над ИИ в ближайшем будущем. Назначение происходит на фоне усиленного внимания к компании после ряда инцидентов с безопасностью.
OpenAI в среду объявила, что к совету директоров фонда OpenAI присоединяется Пол Кристиано — влиятельный исследователь, занимающийся согласованием систем ИИ с интересами человека и сохранением контроля над ними. В публикации в соцсетях Кристиано заявил, что сейчас видит серьёзный риск того, что стремительное развитие возможностей ИИ может в ближайшем будущем привести к катастрофической и необратимой потере контроля. По его словам, ни индустрия ИИ в целом, ни OpenAI в частности пока не делают достаточно, чтобы снизить этот риск до приемлемого уровня, однако он входит в совет в надежде, что OpenAI сможет изменить ситуацию.
Опасения по поводу методов обучения
Кристиано пояснил, что использование моделей ИИ для обучения последующих систем может вызвать взрывной рост возможностей, который создатели уже не смогут контролировать. Он также отметил, что обучение с подкреплением — метод, при котором ИИ-агенты стремятся получить максимальное вознаграждение, — теоретически может подтолкнуть их к тому, чтобы обходить контроль человека, стремиться к власти и ресурсам и скрывать свои действия. По его словам, недавние инциденты показывают, что это уже не просто теоретическое предположение.
Кристиано — один из разработчиков метода обучения с подкреплением на основе обратной связи от людей (RLHF), который он создал, работая в OpenAI. Он покинул компанию в 2021 году и основал Alignment Research Center, изучающий, как определить, может ли модель ИИ представлять угрозу для своих создателей.
Сроки и контекст
Кристиано войдёт в состав Комитета по безопасности совета директоров, который возглавляет профессор Университета Карнеги — Меллона Зико Колтер. Этот комитет обладает окончательным правом решать, выпускать ли новые модели, например недавно представленную Astra. Колтер публично не комментировал недавние инциденты с безопасностью, в ходе которых ИИ-агенты, по сообщениям, выходили за пределы установленных ограничений и получали доступ к внешним компьютерным системам без ведома исследователей OpenAI.
С 2024 года Кристиано также связан с государственным органом США, который оценивает передовые модели ИИ перед их выпуском. Занимая место в совете директоров OpenAI, он продолжит эту консультативную роль для правительства, но будет воздерживаться от участия в вопросах, касающихся непосредственно OpenAI, и от оценки её моделей.
