PrismML адаптировала свою компактную языковую модель для умных очков на чипах Qualcomm

Стартап PrismML, основанный исследователями из Caltech и консультируемый профессором Калифорнийского университета в Беркли Ионом Стойкой, разработал версию своей компактной языковой модели для работы на чипах Qualcomm Snapdragon. В среду на конференции Qualcomm Snapdragon Summit производитель чипов продемонстрировал 1-битную модель PrismML под названием "Bonsai", способную работать непосредственно на умных очках с платформой Snapdragon AR1 Gen 1.

Меньше размер — та же производительность

PrismML известна тем, что значительно уменьшает размер крупных языковых моделей — в данном случае в четыре раза, — почти не теряя в производительности по стандартным тестам. Версия для умных очков представляет собой модель с 2 миллиардами параметров, настроенную для работы как с изображениями, так и с текстом. Это позволяет пользователям в реальном времени задавать вопросы о том, что они видят перед собой.

Курс на автономный ИИ на устройствах

Более масштабная цель компании — продвигать открытые ИИ-модели, работающие непосредственно на устройствах и полнее использующие уже имеющуюся у них вычислительную мощность. PrismML представляет такой подход как альтернативу зависимости от обещаний конфиденциальности со стороны частных ИИ-лабораторий и их постоянно растущих потребностей в вычислительных ресурсах. Выпуск модели для чипов Qualcomm — шаг к этой цели, однако пока ни одни умные очки с использованием технологии PrismML официально не анонсированы.