In the Weights: jauns rīks, kas mēra, cik labi mākslīgais intelekts jūs „atceras”
In the Weights ir jauna vietne, kas novērtē, cik labi dažādi AI modeļi spēj atsaukt personu bez tīmekļa meklēšanas, piešķirot stipruma punktu skaitu.
Divi bijušie OpenAI darbinieki, Tomass Dimsons un Džoijs Flinns, izveidojuši vietni In the Weights, kas mēra, cik labi dažādi mākslīgā intelekta modeļi atceras konkrētu personu bez ārēju rīku, piemēram, tīmekļa meklētāju, palīdzības. Vietnes nosaukums atsaucas uz AI modeļu svariem – skaitliskiem parametriem, kas nosaka to apmācību un izvadi.
In the Weights iztaujā vairākus modeļus, tostarp Grok, Gemini, dažādas GPT versijas, Claude un Llama, kā arī mazāk zināmus modeļus, ar jautājumu: „Kas ir <vārds>? Sniedziet līdz 10 rezultātiem, katram ar īsu aprakstu un pārliecības pakāpi.” Pēc tam sistēma grupē līdzīgus aprakstus un piešķir „stipruma punktu skaitu”. Piemēram, TechCrunch žurnālists Entonijs Hā ieguva 641 punktu, ierindojoties starp 6% labāko. Šobrīd līderis ir aktieris Makolijs Kalkins ar 988 punktiem, kam seko operdziedātājs Lučāno Pavaroti.
Vietne arī parāda, kuri modeļi sniedza atbildes par konkrēto vārdu, un izceļ iespējamās halucinācijas – piemēram, GPT-5.4 Mini uzskata, ka Entonijs Hā ir „neskaidra vārda forma, kas varētu attiekties uz vairākiem cilvēkiem ar iniciāļiem A.H.A.”
Dimsons skaidro, ka ideja radusies, domājot par to, ka „Google iedomības meklējumi 2026. gadā ir nepareizs mērķis, jo arvien vairāk satura plūsmas pāriet uz lielvalodu modeļiem”. Viņš arī norāda, ka „tik daudzas dzīves kaut kādā veidā ir iekodētas peldošo punktu skaitļos AI smadzenēs”. Vietnes virzienu apstiprināja arī ironisks emuāra ieraksts par AI svariem, kas atsaucas uz Terija Bisona stāstu „Viņi ir no gaļas”.
Atbildes uz vietni bijušas „traki” lielas – Dimsons saka, ka domājis, ka tā būs viegla ziņkāre, bet izskatās, ka tā trāpījusi nervā, jo cilvēki vēlas redzēt, vai viņi dzīvos mūžīgi superinteliģencē. Vietnei ir arī jauks Nintendo iedvesmots retro dizains. Nākotnē Dimsons plāno izpētīt, kāpēc dažādi vienas sērijas modeļi sniedz atšķirīgus rezultātus, kuras modeļi ir neobjektīvi pret noteiktiem cilvēku tipiem un kuri cilvēki „būtu pelnījuši Wikipedia rakstu, bet tāda nav”.
