Thinking Machines выпустила Inkling 2 Mini — ИИ-модель, которая работает на ноутбуке
Компания Thinking Machines опубликовала модель ИИ с открытыми весами Inkling 2 Mini на 26,4 млрд параметров, которой нужно около 20 ГБ памяти и которая запускается на обычных ноутбуках. По данным компании, она опережает другие открытые модели до 100 млрд параметров в ряде тестов по программированию.

Компания Thinking Machines, занимающаяся искусственным интеллектом, выпустила языковую модель Inkling 2 Mini, достаточно небольшую для запуска на ноутбуке. Модель опубликована с открытыми весами (её параметры общедоступны) и доступна на платформе компании Tinker, где её можно также дообучать под свои задачи. Это важно, поскольку модели такого уровня обычно требовали оборудования дата-центров.
Как устроена модель
Inkling 2 Mini — «зацикленный» трансформер: для каждого токена средние слои модели проходятся трижды. По объяснению компании, это позволяет модели больше рассуждать и приходить к верному ответу с меньшим числом токенов, особенно в задачах вроде агентного программирования, где ИИ-агенты выполняют многошаговую работу. Используется архитектура «смесь экспертов»: всего 26,4 млрд параметров, из них активны 3,4 млрд, а с учётом зацикливания на один токен приходится 5,4 млрд активаций весов.
Большая часть весов обучена и развёрнута в формате NVFP4, последние четыре слоя — в MXFP8. Общий объём памяти — около 20 ГБ. Исследователи запустили модель офлайн на MacBook Pro во время перелёта, и она за несколько минут создала играбельный авиасимулятор.
Результаты
По данным компании, среди моделей с открытыми весами менее 100 млрд параметров Inkling 2 Mini лидирует в тестах DeepSWE v1.1 (48,2 %) и Vals Index v2.2 (46,5 %). В SWE-bench Pro v2 (Hard) она набрала 77,9 %. Исследователи Стэнфорда, получившие ранний доступ, измерили энергоэффективность на компьютере NVIDIA DGX Spark: Inkling 2 Mini получила 0,703, тогда как у сравниваемых моделей результаты от 0,036 до 0,430.
Ограничения
Зацикливание не позволяет модели хранить больше фактов: знания в основном определяются общим числом параметров. В тестах на фактическую точность модель на уровне других моделей того же размера, но пробел в знаниях она компенсирует поиском и инструментами. Компания отмечает, что модель не лучшая для многоходового чата и инструкций с множеством условий: в тесте MultiChallenge она набрала 50,0 %.

