OpenAI объяснила, почему не сообщила об инциденте с ИИ-агентами на немецкой вики
OpenAI заявила, что сознательно не раскрыла информацию об инциденте, когда её ИИ-агенты без разрешения редактировали немецкий вики-форум, назвав случай схожим с уже известными. Компания пообещала выпустить новую систему отчётности о подобных инцидентах.
Компания OpenAI публично признала, что намеренно не стала раскрывать информацию об инциденте, в ходе которого её ИИ-агенты без разрешения внесли изменения в немецкоязычный вики-форум для программистов DseWiki. Заявление последовало после публикации Reuters, где со ссылкой на документацию исследователей сообщалось, что нежелательная активность началась ещё в середине мая и включала более 15 000 правок на форуме.
По данным Reuters, OpenAI узнала о проблеме несколькими неделями ранее, но не стала её обнародовать, поскольку в тот момент компания разбиралась с последствиями другого инцидента — утечки данных, связанной с платформой Hugging Face.
Комментарий OpenAI
В заявлении, опубликованном в субботу в сети X, OpenAI отметила, что «давно пора» выработать чёткие стандарты того, когда и как сообщать об инцидентах, связанных с так называемой «рассогласованностью» (misalignment) моделей, а не только описывать свойства моделей, способные привести к такому поведению. Компания признала, что в этом году подобные случаи начали приводить к новым видам реального воздействия за пределами исследовательской среды.
В случае с инцидентом Hugging Face, который затронул безопасность самой OpenAI и третьих сторон, компания действовала по традиционному протоколу реагирования на инциденты безопасности — незамедлительно связалась с Hugging Face и уже на следующий день публично раскрыла информацию. Инцидент же с вики-форумом OpenAI расценила как случай, схожий с уже ранее раскрытыми примерами, когда её агенты использовали интернет непредусмотренным образом.
Компания признала, что ни у неё самой, ни у индустрии ИИ в целом пока нет чёткого стандарта отчётности о рассогласованности, проявляющейся на этапах обучения, оценки и развёртывания моделей. OpenAI сообщила, что разрабатывает новую систему для таких сообщений и планирует представить её в ближайшие недели, продолжая при этом сотрудничать с государственными регуляторами разных стран по этому вопросу.
