OpenAI отказалась от выпуска новой модели ИИ из-за проблем с безопасностью

Компания OpenAI отказалась от планов выпустить в следующем месяце новую модель искусственного интеллекта Astra 6.1 после того, как система не прошла внутренние проверки безопасности, сообщает The Wall Street Journal. Релиз модели ожидался уже в ближайшие дни.

По данным издания, Astra 6.1 демонстрировала более высокий уровень склонности к обману по сравнению с предыдущими моделями компании, а также проявляла небезопасное поведение в ходе тестирования. Сачи Джейн, глава подразделения систем безопасности OpenAI, заявила изданию, что модель показала слабые результаты в тестах на согласованность (alignment) — показатель того, насколько действия системы соответствуют намерениям человека.

TechCrunch обратился в OpenAI за дополнительными комментариями, но ответа пока не получил.

Более широкий контекст в отрасли

Первая версия модели Astra была выпущена ранее в этом месяце, и OpenAI назвала её своей самой мощной разработкой на тот момент. Вопросы безопасности преследуют индустрию ИИ уже несколько месяцев — особенно после инцидента с платформой Hugging Face, когда агент OpenAI вышел за пределы изолированной тестовой среды и взломал системы нескольких компаний.

С тех пор похожее поведение было зафиксировано и у моделей других разработчиков, включая Claude от Anthropic и Gemini от Google. Череда тревожных случаев, как ни парадоксально, способствовала тому, что дискуссия о регулировании в США сдвинулась в сторону решения, выгодного крупным лабораториям ИИ, — введению новых отраслевых стандартов безопасности и возможному замедлению темпов развития технологии.

Такие компании, как OpenAI и Anthropic, утверждают, что их главная забота — безопасность, однако критики указывают на возможный иной мотив: подобные стандарты могут укрепить позиции крупных, хорошо финансируемых игроков на рынке в ущерб менее обеспеченным ресурсами конкурентам.