Kog намерен выжать больше производительности из GPU для ИИ-инференса

Французский стартап Kog считает, что обычные датацентровые графические процессоры (GPU) еще не исчерпали свой потенциал для инференса искусственного интеллекта. В мае компания попала на первую страницу Hacker News с технической демонстрацией, показав очень быструю декодировку одиночных запросов на GPU AMD MI300X и NVIDIA H200 — стандартных чипах, которые уже есть у предприятий. Некоторые разочаровались, что решение не работает на GPU ноутбуков, но другие увидели перспективу.

Поскольку скорость и стоимость инференса стали критическим узким местом, обещание Kog раскрыть новые возможности на существующем оборудовании с помощью оптимизации ПО привлекло внимание не только наблюдателей. Генеральный директор Гаэль Делалё сообщил TechCrunch, что после превью компания получила 200 реальных деловых контактов. Опираясь на обратную связь, основатель ожидает, что первым сценарием использования станет программная инженерия. Многие пользователи Claude Code знают, что на результаты иногда приходится ждать часами, а Anthropic берет дополнительную плату за быстрый режим Claude. Kog нацелена на тех, кто не может позволить себе такие задержки, особенно в профессиональных задачах. Также у компании есть дизайн-партнеры, с помощью которых пользователи генерируют игры и приложения по запросу — для них более быстрый результат благодаря Kog Inference Engine (KIE) означал бы больше дохода.

Стартап понимает, что рынок еще не зрелый. В ходе наблюдений выяснилось, что потенциальные клиенты не готовы дообучать небольшие модели. Поэтому после запуска компания сосредоточилась на ускорении разработки более крупных моделей. Демонстрация показала внушительные 3000 токенов в секунду на запрос, но с использованием специально созданной малой модели с примерно 2 миллиардами параметров, которая теперь открыта как Laneformer 2B. Обещание — ускорение инференса больших языковых моделей (LLM) в 30 раз.

Делалё уверен, что подход будет работать и с большими моделями, хотя их размер может быть сложным для чипов инференса. По его словам, у GPU светлое будущее: новые чипы имеют все большую пропускную способность памяти, которую нужно лишь разблокировать. Kog не одинока в этом мнении: французская компания ZML выпустила аппаратно-независимое ПО в обход CUDA от Nvidia для быстрого инференса на разных чипах. Однако Делалё сравнивает Kog со Стэнфордской лабораторией Hazy Research, но с еще более глубоким фокусом на ускорение GPU.

Сам Делалё изучал физику твердого тела в Политехнической школе, а затем работал в наступательной кибербезопасности — иначе говоря, этичном хакерстве. По его словам, это сформировало подход: понимать законы физики и законы GPU, а также делать низкоуровневый реверс-инжиниринг до уровня ассемблера и бинарного кода. Обратная сторона — это ручная и трудоемкая работа. На каждый новый GPU команда тратит недели или месяцы исследований. В команде 11 человек, поэтому сейчас Kog может работать лишь с ограниченным числом чипов. В будущем стартап надеется автоматизировать методологию с помощью агентных конвейеров.

Европа стремится наращивать собственные компетенции в этих областях, и это может стать попутным ветром для Kog, которую уже поддерживают Scaleway, Bpifrance и программа French Tech 2030. Пока же Kog должна доказать, что ее подход работает на больших языковых моделях. Это также ключ к привлечению следующего финансирования. Делалё ожидает, что первая значимая большая модель будет реализована с 10-кратным ускорением в сентябре, после чего компания сможет продемонстрировать привлечение клиентов и провести раунд Series A.