LookAtMyQuant: инструмент с открытым кодом сжимает ИИ-модели для Apple Silicon
Проект с открытым кодом LookAtMyQuant сжимает большие языковые модели так, чтобы они укладывались в заданный объём памяти с минимальной потерей качества. По заявлению авторов, модель Inkling-2-Mini удалось уменьшить с 18,89 ГБ до 5,38 ГБ.
На GitHub опубликован проект с открытым кодом LookAtMyQuant, предназначенный для квантования языковых моделей, то есть хранения их весов с меньшим числом бит. Инструмент нужен, чтобы крупные модели искусственного интеллекта помещались в ограниченный объём памяти, например на устройствах Apple Silicon. Проект распространяется по лицензии MIT, а его описание вызвало заметный интерес на сайте обсуждений Hacker News.
Как это работает
LookAtMyQuant — компилятор квантования. Он измеряет, насколько сжатие каждой сохранённой части модели ухудшает вывод, а затем выбирает для каждой части кодировку так, чтобы вся модель уложилась в заданный размер с наименьшим ущербом. Авторы утверждают, что для Gemma 4 E2B полученный файл GGUF при том же размере, что и Q4_K_M, даёт в 12 раз меньшую KL-дивергенцию.
Результаты
Модель Qwen3.5-4B уменьшена до 1,23 ГБ (2,3 бита на вес). Она решает 330 из 540 математических задач с точным ответом; оригинал решает 359, а Bonsai 2 Ternary 4B от Prism ML при 1,20 ГБ — 328. Модель Qwen3.8-27B сжата с 53,7 ГБ до 7,2 ГБ и решает 401 задачу, столько же, сколько оригинал.
Текстовые веса Inkling-2-Mini в оригинале занимают 18,89 ГБ; модель доступна в четырёх версиях: 12,76, 11,18, 8,87 и 5,38 ГБ. Самая большая совпадает с оригиналом в математическом тесте GSM8K (193 из 200) и тесте по программированию HumanEval (152 из 164). Самая маленькая набирает 88,0 % в GSM8K и 70,7 % в HumanEval.
На Apple M5 Max со специальной вспомогательной моделью версия на 5,4 ГБ достигает медианы 124,4 токена в секунду, а версия на 12,8 ГБ — 112,7.
Доступность
Среда выполнения устанавливается через pip и работает через командную строку lamq или библиотеку Python. В репозитории также есть код для воспроизведения рецепта для Qwen3.5-4B; авторы оценивают его стоимость примерно в 34 доллара GPU-времени.


