воскресенье, 22 ноября 2026 г.
Rīga TV

Мировые и латвийские новости в одном месте

ТехнологииОпубликовано: 22 ноября 2026 г. в 05:07

LookAtMyQuant: инструмент с открытым кодом сжимает ИИ-модели для Apple Silicon

Проект с открытым кодом LookAtMyQuant сжимает большие языковые модели так, чтобы они укладывались в заданный объём памяти с минимальной потерей качества. По заявлению авторов, модель Inkling-2-Mini удалось уменьшить с 18,89 ГБ до 5,38 ГБ.

Foto: Hacker News (≥150 p.)

На GitHub опубликован проект с открытым кодом LookAtMyQuant, предназначенный для квантования языковых моделей, то есть хранения их весов с меньшим числом бит. Инструмент нужен, чтобы крупные модели искусственного интеллекта помещались в ограниченный объём памяти, например на устройствах Apple Silicon. Проект распространяется по лицензии MIT, а его описание вызвало заметный интерес на сайте обсуждений Hacker News.

Как это работает

LookAtMyQuant — компилятор квантования. Он измеряет, насколько сжатие каждой сохранённой части модели ухудшает вывод, а затем выбирает для каждой части кодировку так, чтобы вся модель уложилась в заданный размер с наименьшим ущербом. Авторы утверждают, что для Gemma 4 E2B полученный файл GGUF при том же размере, что и Q4_K_M, даёт в 12 раз меньшую KL-дивергенцию.

Результаты

Модель Qwen3.5-4B уменьшена до 1,23 ГБ (2,3 бита на вес). Она решает 330 из 540 математических задач с точным ответом; оригинал решает 359, а Bonsai 2 Ternary 4B от Prism ML при 1,20 ГБ — 328. Модель Qwen3.8-27B сжата с 53,7 ГБ до 7,2 ГБ и решает 401 задачу, столько же, сколько оригинал.

Текстовые веса Inkling-2-Mini в оригинале занимают 18,89 ГБ; модель доступна в четырёх версиях: 12,76, 11,18, 8,87 и 5,38 ГБ. Самая большая совпадает с оригиналом в математическом тесте GSM8K (193 из 200) и тесте по программированию HumanEval (152 из 164). Самая маленькая набирает 88,0 % в GSM8K и 70,7 % в HumanEval.

На Apple M5 Max со специальной вспомогательной моделью версия на 5,4 ГБ достигает медианы 124,4 токена в секунду, а версия на 12,8 ГБ — 112,7.

Доступность

Среда выполнения устанавливается через pip и работает через командную строку lamq или библиотеку Python. В репозитории также есть код для воспроизведения рецепта для Qwen3.5-4B; авторы оценивают его стоимость примерно в 34 доллара GPU-времени.

Комментарии

0/1500

Комментарии модерируются автоматически. Запрещены ненависть, угрозы, личные данные и спам.

Загрузка комментариев…

Ещё в этой категории

Технологии

Сообщества Lean подтвердили доказательство гипотезы Римана, записанное в виде компьютерного кода

Сообщества Lean и Mathlib заявили, что доказательство гипотезы Римана, опубликованное Левентом Альпёге, верно. Оно оформлено как библиотека Lean на 17 миллионов строк кода и проверено несколькими независимыми инструментами.

Hacker News (≥150 p.) · 33 мин назад

Технологии

Голос Линды Белчер из «Бургеров Боба» выпустил новый танцевальный альбом

Актёр и музыкант Джон Робертс, озвучивающий Линду Белчер в мультсериале «Бургеры Боба», в пятницу выпустил альбом «I Am». В интервью он рассказал о любимых устройствах и привычках.

The Verge · 34 мин назад

Технологии

Личный скандал вокруг главы Nvidia Дженсена Хуанга стал политическим: в США проверяют, не попали ли чипы в Китай

Председатель совета директоров Nvidia Дженсен Хуанг лишился поста после сообщений о связи с руководительницей сингапурской компании Megaspeed. В США выясняют, могли ли передовые технологии попасть в Китай.

ERR (rus) · 1 ч назад