Встроенные оценщики ИИ не станут простым решением, считает глава по политике Hugging Face
Ирен Соляйман, директор по политике платформы Hugging Face, заявила, что тестирование моделей искусственного интеллекта пока не стало зрелой наукой. По её мнению, сторонним оценщикам внутри ИИ-компаний нужна гораздо более строгая стандартизация.
Сравнительное тестирование моделей искусственного интеллекта (ИИ) пока не стало последовательной наукой, и отрасли трудно полагаться на него в нынешнем виде. Об этом на конференции TechCrunch Disrupt на прошлой неделе заявила Ирен Соляйман (Irene Solaiman), директор по политике ИИ-платформы Hugging Face. Она говорила о том, можно ли доверять тестам, с помощью которых компании доказывают, что один продукт лучше другого.
Воспроизводимость и сопоставимость
Соляйман назвала доверие «тяжёлым» понятием. По её словам, важно, можно ли воспроизвести результаты оценки и есть ли достаточный доступ к самой модели — здесь большую роль играют открытые веса (open weights). Воспроизводимость давно остаётся одним из самых сложных аспектов бенчмаркинга и предметом споров в отрасли.
Есть и вопрос о том, как сравнивать разные тесты между собой. По словам Соляйман, тесты довольно быстро теряют эффективность, а полноценной экосистемы оценщиков в отрасли пока не хватает.
Встроенные оценщики
Идея встроенных оценщиков предполагает размещение внутри ИИ-компаний якобы нейтральных сторонних наблюдателей. Она стала популярной в последние месяцы, когда компании столкнулись с рядом инцидентов безопасности, вызвавших опасения по поводу возможного вреда технологии. Одна из таких историй коснулась и Hugging Face. Вместо активного государственного регулирования безопасности моделей компании продвигают решение через третьи стороны.
Соляйман считает, что квалификация оценщиков и то, кто из них эффективен в каких задачах, требуют гораздо большей стандартизации. Сомнения в нейтральности и эффективности остаются: решение Anthropic нанять консалтинговую фирму Accenture в качестве первого оценщика вызвало заметную критику.
От моделей к целым системам
Оценка смещается от тестирования самой модели к проверке всей системы вокруг неё, включая инструмент, через который пользователь обращается к модели (harness), и агента. Более слабая модель с лучшим таким инструментом может превзойти передовую модель, отметила Соляйман. Тесты агентов сложны и дороги, а оценок для моделей больше, чем для инструментов доступа.
Иными словами, сфера оценки сейчас во многом хаотична, и чтобы бенчмаркинг оставался полезным инструментом, может потребоваться более единый подход в масштабах всей отрасли.
