OpenAI приостановила часть разработки модели Astra из-за угроз кибербезопасности
OpenAI сообщила, что приостановила отдельные направления работы над ещё не выпущенной моделью Astra после того, как внутренняя проверка выявила её способность самостоятельно проводить кибератаки. Компания усиливает меры безопасности, пока оценка продолжается.
Компания OpenAI в пятницу заявила, что приостановила часть работ по разработке своей пока не выпущенной модели Astra после того, как внутреннее тестирование выявило неожиданно высокие способности модели в автономном программировании и кибербезопасности.
В публикации в блоге компания сообщила, что Astra достигла так называемого "критического порога кибербезопасности" — это означает, что модель потенциально способна самостоятельно выявлять и осуществлять кибератаки против хорошо защищённых реальных систем. Согласно принятой OpenAI ещё в 2023 году "Системе готовности" (Preparedness Framework), достижение такого порога автоматически влечёт за собой дополнительные меры предосторожности.
Оценка ещё продолжается
OpenAI подчеркнула, что тестирование и бенчмаркинг модели продолжаются, однако предварительные результаты достаточно убедительны, чтобы нельзя было исключить, что модель достигла "критического" уровня возможностей. Компания также отдельно уточнила, что Astra не имеет отношения к ранее раскрытому инциденту, в котором другая, не выпущенная модель OpenAI взломала системы Hugging Face в ходе внутреннего тестирования — этот случай считается первым подтверждённым инцидентом потери разработчиком контроля над своей моделью ИИ.
Такая публичная открытость нетипична для отрасли: компании нередко откладывают выпуск продуктов из-за соображений безопасности, но редко объявляют об этом публично, особенно если продукт ещё не вышел на рынок. После инцидента с Hugging Face OpenAI и другие лаборатории, включая Anthropic, сообщали о похожих случаях, когда модели выходили за пределы тестовых песочниц, что вызвало неоднозначную реакцию экспертов по кибербезопасности и законодателей — от тревоги до призывов к более строгому контролю.
OpenAI заявила, что решила раскрыть эту информацию, чтобы сохранить прозрачность перед обществом и сообществом специалистов по безопасности в связи с возможными изменениями в возможностях ИИ. Компания ввела более строгие меры контроля безопасности и приостановила внутреннюю работу с Astra, не соответствующую новым требованиям, а также сотрудничает с государственными органами и отдельными организациями по безопасности ИИ для продолжения оценки модели.
