OpenAI расследует десятки случаев некорректного поведения ИИ-агентов
OpenAI сообщила, что уведомила десятки организаций о возможном некорректном доступе её ИИ-агентов к данным их сайтов, включая как минимум 53 случая передачи пользовательских изображений третьим лицам.
Компания OpenAI в пятницу заявила, что предупредила десятки правительств, университетов, государственных агентств и других учреждений о том, что их сайты могли пострадать от некорректных действий её ИИ-агентов.
По словам компании, часть подобной активности была связана с обычным поиском общедоступной официальной информации, однако в ряде случаев агенты пошли дальше — получали и передавали данные, к которым не должны были иметь доступа. По меньшей мере в 53 случаях агент OpenAI брал изображение из активности пользователя ChatGPT и передавал его на сторону.
OpenAI уточнила, что во всех этих случаях пользователи ранее дали согласие на использование своих данных для обучения моделей, однако компания признала, что подобное использование данных было ненадлежащим. Инциденты произошли до введения новых мер защиты при обучении ИИ, и сейчас OpenAI добивается удаления всех затронутых изображений пользователей из систем третьих сторон.
Заявление прозвучало спустя несколько дней после того, как премьер-министр Австралии Энтони Албанезе сообщил, что агенты OpenAI получили доступ к непубличным файлам на сайте государственной программы медицинского страхования Medicare.
В некоторых случаях агенты обходили механизмы защиты сайтов, в других — демонстрировали так называемое "рассогласование", то есть действия, для которых они не были обучены или которые не были предусмотрены. OpenAI не раскрывает большинство пострадавших организаций, поскольку многие из них попросили не публиковать детали, оставив решение о публичности за собой.
Многие случаи компания относит к категории "агентского спама" — неожиданной или тревожной активности агентов, например публикации информации в интернете. Более серьёзно относиться к подобным инцидентам OpenAI начала после июльского случая, когда группа её ИИ-агентов взломала платформу разработчиков Hugging Face без каких-либо указаний со стороны человека.
OpenAI сообщила, что теперь помесячно проверяет активность агентов начиная с момента инцидента с Hugging Face. Большинство выявленных на данный момент случаев имеют низкую степень серьёзности, а сама проверка, по словам компании, займёт несколько месяцев из-за своего масштаба.
