LookAtMyQuant: atvērtā koda rīks mākslīgā intelekta modeļu saspiešanai Apple Silicon ierīcēm
Atvērtā koda projekts LookAtMyQuant saspiež lielos valodu modeļus, lai tie ietilptu noteiktā atmiņas apjomā, zaudējot pēc iespējas mazāk kvalitātes. Autori norāda, ka Inkling-2-Mini modeli izdevies samazināt no 18,89 GB līdz 5,38 GB.
GitHub publicēts atvērtā koda projekts LookAtMyQuant, ko izmanto valodu modeļu kvantizēšanai, proti, to svaru saglabāšanai ar mazāku bitu skaitu. Rīks ir izstrādāts, lai lielie mākslīgā intelekta modeļi ietilptu ierobežotā atmiņā, piemēram, Apple Silicon (Apple procesoru) ierīcēs. Projekts izplatīts ar MIT licenci, un par tā aprakstu Hacker News diskusiju vietnē ir pievērsta ievērojama uzmanība.
Kā rīks darbojas
LookAtMyQuant ir kvantizācijas kompilators. Tas izmēra, cik lielu kaitējumu modeļa izvadei rada katras saglabātās daļas saspiešana, un pēc tam katrai daļai izvēlas kodējumu tā, lai viss modelis ietilptu norādītajā izmēra budžetā ar vismazākajiem zaudējumiem. Autori apgalvo, ka modelim Gemma 4 E2B iegūtā GGUF datne ar tādu pašu izmēru kā Q4_K_M uzrāda 12 reizes zemāku KL novirzi no oriģināla.
Rezultāti
Modelis Qwen3.5-4B saspiests līdz 1,23 GB (2,3 biti uz svaru). Tas atrisina 330 no 540 matemātikas uzdevumiem ar precīzu atbildi; oriģināls atrisina 359, bet Prism ML modelis Bonsai 2 Ternary 4B ar 1,20 GB — 328. Modelim Qwen3.8-27B izmērs samazināts no 53,7 GB līdz 7,2 GB, un tas atrisina 401 uzdevumu, tikpat, cik oriģināls.
Inkling-2-Mini, kura teksta svari oriģinālā aizņem 18,89 GB, pieejams četrās versijās: 12,76, 11,18, 8,87 un 5,38 GB. Lielākā versija GSM8K matemātikas testā (193 no 200) un HumanEval programmēšanas testā (152 no 164) sasniedz tādu pašu rezultātu kā oriģināls. Mazākā versija iegūst 88,0 % GSM8K un 70,7 % HumanEval testā.
Apple M5 Max ar speciālu palīgmodeli 5,4 GB versija sasniedz 124,4 tokenu sekundē mediānu, bet 12,8 GB versija — 112,7 tokenu sekundē.
Pieejamība
Runtime instalējams ar pip, un to var lietot ar komandrindas rīku lamq vai Python bibliotēku. Repozitorijā pieejams arī kods, ar kuru Qwen3.5-4B recepti var atkārtot; autori to novērtē aptuveni 34 ASV dolāru apmērā par GPU laiku.


