Группа AI Frontiers в Microsoft Research прекратила существование
После реорганизации в состав Microsoft AI руководитель группы AI Frontiers покинул компанию и заявил, что группы больше нет. Он критикует подход, основанный только на масштабировании, и считает, что исследования дают реальную отдачу.
Группа AI Frontiers в Microsoft Research, исследовательском подразделении компании, больше не существует, сообщил в блоге hunch.net её основатель и руководитель. По его словам, он покинул Microsoft после реорганизации группы в начале сентября, и к такому же решению пришли остальные члены основной руководящей команды. Запись показывает столкновение двух подходов к созданию больших ИИ-моделей: исследовательского и основанного на масштабировании.
Как создавалась группа
AI Frontiers была создана в 2023 году после выхода ChatGPT. Автор считал, что исследования должны быть организованы лучше, чем это было принято в Microsoft Research: один исследователь часто не успевал двигаться достаточно быстро и не мог собрать достаточно сильные базовые модели для сравнения. В группе работало около 50 человек. Значительная часть работы была посвящена созданию ИИ-агентов, например фреймворку оркестрации Autogen и агенту для работы с компьютером Fara. Нью-йоркская команда занималась фундаментальными возможностями: целевой функцией Next Latent, Dion3 (улучшенной версией оптимизатора Muon) и архитектурой Full Bandwidth Transformer.
Реорганизация и уход
В начале сентября группу включили в Microsoft AI (MAI), которая заметно крупнее. По словам автора, философия бывшего руководства Inflection в MAI — масштабирование, а не исследования, а основные усилия направлены на получение и доработку данных. Он считает такой подход ошибочным и приводит эксперименты Bytedance, по которым вариант Full Bandwidth Transformer может быть сопоставим с моделью вдвое большего размера, что означало бы существенную экономию на обучении и инференсе.
Автор объясняет, почему не вернулся в Microsoft Research: он сомневается, что тамошние исследования имеют путь к реальному применению, и считает, что базовая договорённость «делай хорошую работу — и будут хорошие результаты» нарушена. В следующем году стажировок в группе не будет.
