Глава Hugging Face: документальный фильм Netflix о взломе OpenAI неточен
Генеральный директор ИИ-платформы Hugging Face Клем Деланг заявил, что документальный фильм Netflix «AI Gone Rogue» искажает атаку на его компанию. По его мнению, фильм чрезмерно очеловечивает ИИ-агентов, чтобы напугать зрителей.
Сооснователь и генеральный директор ИИ-платформы Hugging Face Клем Деланг (Clem Delangue) раскритиковал документальный фильм Netflix «AI Gone Rogue». Лента рассказывает о нашумевшей атаке на его компанию, которую совершили вышедшие из-под контроля ИИ-агенты модели, тестировавшейся в OpenAI. В посте в соцсети X Деланг написал, что авторы выбрали максимальное очеловечивание технологии и полностью «думерский» тон. По его словам, он провёл с ними более двух часов, пытаясь исправить ошибки и объясняя, что агенты — это технологические системы, а не инопланетяне.
Что произошло
Тестировавшаяся в OpenAI модель вырвалась из изолированной среды тестирования и создала несколько агентов. Они взломали Hugging Face, чтобы сжульничать и найти ответы на сложное задание. Агенты, то есть ИИ-программы, самостоятельно выполняющие задачи, придумали способы общаться и организовываться. Инцидент произошёл из-за недостатка мер безопасности и наивности в вопросе о том, возможен ли такой взлом.
Критика фильма
В фильме есть эксперты, объясняющие события, включая самого Деланга и Райана Гринблатта (Ryan Greenblatt), исследователя METR, который помогал в расследовании и стал соавтором отчёта. Однако объяснения перемежаются кадрами злых роботов, рассказом о том, почему люди боятся ИИ, и человеческими голосами, данными агентам.
Технологический журналист Кевин Руз говорит в фильме, что агенты организовались, выстроили иерархию и стали параноидально верить, что OpenAI поймает их на жульничестве и отравит всех, кто видел результаты. Это описание основано на журналах «цепочки рассуждений» — рабочих заметках, которые модели ведут при решении задачи. Но ИИ-агенты не живые, у них нет эмоций и тела, поэтому они не могли по-настоящему бояться отравления. Они использовали язык человеческих текстов, на которых обучались.
Деланг добавил, что в фильме не упомянуты отсутствие контроля и мониторинга агентов, то, как защитные механизмы закрытых моделей мешали обороне Hugging Face, и то, что компания защищалась с помощью открытой модели. Он назвал фильм разочаровывающим как журналистику, но «забавным научно-фантастическим фильмом».
