Base Labs, Hugging Face и Goodfire объединились для создания стандарта безопасности открытых AI-моделей
Исследовательское подразделение Baseten под названием Base Labs заключило партнёрство с Hugging Face и Goodfire AI для создания инфраструктуры оценки и мониторинга безопасности открытых AI-моделей. Инициатива появилась на фоне того, что на Hugging Face размещено более 6000 моделей, лишённых защитных механизмов методом "абляции".
В среду компания Baseten объявила о новой инициативе в области безопасности, которую реализует созданное ею в этом году исследовательское подразделение Base Labs совместно с платформой размещения моделей Hugging Face и специализирующейся на интерпретируемости компанией Goodfire AI.
Цель партнёрства — разработать инструменты и методы для оценки и постоянного мониторинга безопасности открытых AI-моделей. Base Labs планирует опубликовать эти методы и представить их как стандарт, при котором безопасность встроена непосредственно в процесс обучения и развёртывания моделей, а не добавляется позднее.
Проблема абляции
Заявление прозвучало на фоне продолжающихся дискуссий в отрасли о рисках открытых моделей. Такие модели можно сделать опасными с помощью техники под названием "абляция", которая удаляет встроенные защитные ограничения. По данным Baseten, на платформе Hugging Face уже размещено более 6000 моделей, прошедших через такую обработку.
В публикации на платформе X компания Baseten заявила, что открытость является преимуществом для безопасности AI, поскольку она обеспечивает большую прозрачность поведения моделей и больше возможностей для превращения исследований безопасности в конкретные, понятные механизмы контроля — в отличие от закрытых решений.
Компании пока не раскрыли технические детали работы партнёрства. Goodfire, отвечая на заявление Baseten, отметила, что безопасность должна быть встроена в открытые модели и обеспечена теми, кто их предоставляет пользователям — что указывает на возможную ведущую роль Goodfire, специализирующейся на объяснении принципов принятия решений AI-моделями.
О компаниях
Baseten, поставщик инфраструктуры для инференса AI-моделей, в июне привлекла раунд Series F на 1,5 миллиарда долларов, в результате чего оценка компании достигла 13 миллиардов долларов. Goodfire AI ранее в этом году привлекла раунд Series B на 150 миллионов долларов под руководством B Capital для развития своей платформы интерпретируемости моделей.
Baseten призывает более широкое сообщество разработчиков внести вклад в формирующийся стандарт безопасности.
