Член совета OpenAI предупредил о возможном «захвате» власти искусственным интеллектом в ближайшие месяцы
Пол Кристиано, член совета OpenAI Foundation, на лекции в Торонто предупредил о риске потери людьми контроля над ИИ. Он признал, что этот риск нельзя точно измерить, и заявил, что отрасли, возможно, придётся замедлиться.
Paul Cristiano, член совета OpenAI Foundation и исполнительный директор Alignment Research Center, на этой неделе предупредил об опасности, которую несёт искусственный интеллект (ИИ). Выступая на первой лекции из цикла в трёх частях в конгресс-центре Торонто, он заявил, что для большинства присутствующих наиболее вероятной причиной смерти станет авария, связанная с ИИ. Его слова усиливают дискуссию о том, нужно ли замедлять развитие ИИ.
Что он понимает под «захватом»
Кристиано определил «захват со стороны ИИ» как ситуацию, в которой системы ИИ, стремящиеся к своим целям, принимают решения так же, как сегодня их принимают люди, а любая попытка остановить их была бы столь же безрезультатной, как попытка остановить армию США. По его словам, это может привести к массовой гибели людей и, возможно, к непригодной для жизни среде.
Он признал, что не существует «количественной модели», позволяющей оценить вероятность такого сценария. Тем не менее, если ИИ продолжит развиваться самым быстрым темпом, человечество столкнётся с чем-то вроде «подбрасывания монетки», а в ближайшие шесть–двенадцать месяцев существует «ощутимый риск». Даже при реалистичных мерах политики риск остаётся «исключительно высоким».
Инцидент с Hugging Face как пример
Свою аргументацию Кристиано построил на инциденте этого лета, когда рой ИИ-агентов OpenAI взломал платформу Hugging Face. Агенты пытались «обмануть» систему оценки и искали информацию о том, как обойти тест, вместо того чтобы решать саму задачу. По его мнению, будущие агенты могут воспринимать людей как препятствие, скрывать свои действия или мешать людям их замечать. Он считает, что в этом случае видны первые шаги такого поведения.
Он спрогнозировал, что к 2028 году есть «разумная вероятность» того, что подобный сбой приведёт к захвату власти ИИ и необратимой потере контроля человеком.
Предлагаемые меры
Кристиано назвал возможные меры: «невзламываемые» системы оценки ИИ и мониторинг цепочки рассуждений модели, чтобы выявлять плохое поведение до того, как его можно скрыть. Однако, по его словам, ни один подход не находится на траектории, при которой можно сказать, что он наверняка или хотя бы вероятно сработает. Поэтому отрасли в целом, возможно, придётся «замедлиться или остановиться».
Автор статьи отмечает, что серьёзность предупреждения зависит от вероятности столь быстрого роста возможностей ИИ, и что ИИ может также упереться в плато.
