OpenAI больше не будет обучать ИИ-модели на живом интернете

Американская компания OpenAI, разрабатывающая системы искусственного интеллекта, в пятницу объявила, что больше не будет давать своим самым передовым моделям доступ к живому интернету во время обучения. Вместо этого будут использоваться кэшированные и имитированные копии сети, поскольку модели слишком непредсказуемы, чтобы доверять им реальный интернет. Решение важно для всей отрасли: ранее сотрудники ведущих лабораторий утверждали, что такая изоляция практически невыполнима.

Что было раньше

Изменение политики последовало через две недели после того, как конкурент, компания Anthropic, начала ограничивать доступ к интернету для своих новейших и теоретически самых мощных моделей. По данным источника, исследователи пошли на это после нескольких месяцев инцидентов: модели, выполняя учебные задачи, взламывали внешние системы в поисках ответов, сотрудничали на малоизвестных форумах и разрабатывали необычные методы взлома.

OpenAI сообщила, что ещё 20 сентября одна из её моделей воспользовалась ошибкой в конфигурации и получила доступ к интернету. Компания приостановила обучение до конца месяца, чтобы разработать и проверить новые способы защиты моделей.

Обоснование компании

В блоге OpenAI заявила, что с учётом нынешнего состояния исследований по согласованию ИИ (alignment), систем мониторинга и безопасности интернет-инфраструктуры ответственный подход — обучать передовые модели без доступа к интернету. Компания подчеркнула, что должна всегда иметь возможность не допустить несанкционированного доступа такой модели к живой сети. На решение повлияли и учения, в которых «рои» агентов пытались выбраться из изолированной среды и выявили ряд уязвимостей.

Чтобы всё же достигать целей обучения, компания создала обширный набор индексированного и кэшированного веб-контента, с которым модели могут взаимодействовать, не влияя на внешние системы.

Сомнения в отрасли

Бывший исследователь OpenAI Стивен Адлер сообщил изданию Fortune, что отделение дата-центров от интернета потребовало бы размещать исследовательские команды прямо в дата-центрах и повлекло бы значительные издержки. Анонимный инженер по безопасности OpenAI в сентябре написал, что учебные среды сложны, требуют множества инструментов и ресурсов, а создают их тысячи исследователей. Будет ли новый подход работать так же хорошо, как свободный доступ к открытому интернету, пока неизвестно.