Startups PrismML saspiež mākslīgā intelekta modeļus, lai tie darbotos telefonos un datoros
Kalifornijas startups PrismML izlaidis jaunu saspiestu valodas modeli Bonsai 2 27B, kas ietilpst tikai 5,9 GB un saglabā gandrīz visu sākotnējā modeļa jaudu. Uzņēmums cer, ka šāda tehnoloģija ļaus jaudīgiem AI modeļiem darboties tieši ierīcēs, ne tikai serveros.
Mākslīgā intelekta startups PrismML ceturtdien nāca klajā ar jaunu modeli Bonsai 2 27B — savas modeļu ģimenes jaunāko versiju, kas ievērojami sasaista lielo valodu modeļu izmēru, nezaudējot to spējas. Modelis ir saspiestā versija no Alibaba izstrādātā atvērtā koda modeļa Qwen3.8 27B, un tā izmērs ir tikai 5,9 gigabaiti — deviņas līdz desmit reizes mazāk nekā oriģinālam. Šāds izmērs ļauj modelim darboties parastā datorā un, iespējams, arī augstākas klases viedtelefonā.
Uzņēmumu vada Babaks Hasibi, Kalifornijas tehnoloģiju institūta (Caltech) profesors un saspiešanas tehnoloģiju eksperts, kurš PrismML dibinājis kopā ar citiem Caltech pētniekiem. Par konsultantu strādā arī Jons Stoika, Databricks līdzdibinātājs un Bērklija universitātes Sky Computing laboratorijas direktors. Startupu finansiāli atbalsta Khosla Ventures, Cerberus Capital un Caltech, un tas martā piesaistījis 22,25 miljonu dolāru sākotnējo investīciju kārtu.
Pēc Hasibi vārdiem, PrismML saspiešanas tehnoloģijas priekšrocība ir tā, ka modeļi zaudē gandrīz nekādu sniegumu salīdzinājumā ar oriģināliem. Bonsai 2 sasniedz 98% no Qwen kopējiem etalontesta rezultātiem — uzlabojums salīdzinājumā ar pirmo Bonsai versiju, kas martā tika izlaista ar 95% rezultātu. Pirmais modelis kopš tā laika lejupielādēts vairāk nekā 11 miljonus reižu, bet jaunākie, mazākie modeļi — papildu 2,6 miljonus reižu.
Uzņēmuma metode balstīta uz tā sauktajiem "ternārajiem" svariem — modeļa iemācītās informācijas glabāšanas veidā, kur ikviena vērtība parasti aizņem 16 bitus, bet PrismML risinājumā tā tiek reducēta uz trim iespējamām vērtībām: +1, −1 vai 0. Tas ļauj ievērojami samazināt modeļa apjomu.
Uzņēmuma nākamais solis ir pielietot šo tehniku daudz lielākiem modeļiem — vairāku simtu miljardu parametru diapazonā, ko plānots izlaist tuvāko mēnešu laikā. Hasibi uzskata, ka lielākus modeļus būs vieglāk saspiest, nezaudējot intelektu. Stoika savukārt uzsver, ka šī tehnoloģija varētu padarīt jaudīgu AI pieejamu bez maksas un privāti tieši lietotāju ierīcēs, nenosūtot datus uz mākoni.
