Microsoft Research mākslīgā intelekta grupa AI Frontiers beidz pastāvēt
Pēc reorganizācijas Microsoft AI sastāvā no uzņēmuma aizgājis AI Frontiers vadītājs, kurš to raksturo kā grupas beigas. Viņš kritizē tīri mērogošanas pieeju un norāda, ka pētniecībai ir reāla vērtība.
Microsoft Research (Microsoft pētniecības nodaļas) mākslīgā intelekta apakšvienība AI Frontiers ir beigusi pastāvēt, savā emuārā hunch.net raksta tās dibinātājs un vadītājs. Viņš paziņoja, ka pēc septembra sākuma reorganizācijas ir atstājis uzņēmumu, un tāpat rīkojušies arī citi grupas dibinošās vadības komandas locekļi. Raksts atklāj domstarpības starp pētniecību un tīri mērogošanu balstītu pieeju lielo valodas modeļu izstrādē.
Kā grupa tika izveidota
AI Frontiers tika izveidota 2023. gadā pēc ChatGPT izlaišanas. Autora vērtējumā pētniecībai bija jābūt organizētākai nekā Microsoft Research ierasts, jo viena cilvēka pūliņi bieži vien nespēja sekot līdzi tempam un nespēja izveidot pietiekami spēcīgus salīdzinājuma modeļus. Grupā bija ap 50 cilvēku. Liela daļa darba bija vērsta uz aģentu izstrādi, piemēram, Autogen orķestrēšanas ietvaru un Fara datora lietošanas aģentu. Ņujorkas komanda strādāja pie fundamentālām iespējām, tostarp Next Latent mērķfunkcijas, Dion3 (uzlabotas Muon versijas) un Full Bandwidth Transformer arhitektūras.
Reorganizācija un aiziešana
Septembra sākumā grupu iekļāva Microsoft AI (MAI), kas ir ievērojami lielāka. Pēc autora teiktā, bijušās Inflection vadības filozofija MAI ir mērogošana, nevis pētniecība, un galvenā uzmanība tiek veltīta datu iegūšanai un uzlabošanai. Viņš uzskata šādu pieeju par nepareizi vērstu un min, ka Bytedance eksperimenti liecina: Full Bandwidth Transformer variants var būt salīdzināms ar divreiz lielāku modeli, kas ļautu būtiski samazināt apmācības un secināšanas izmaksas.
Autors skaidro, kāpēc neatgriezās Microsoft Research: viņš netic, ka tur pētījumi var nonākt praktiskā lietojumā, un uzskata, ka pamatā esošā vienošanās „dari labu darbu — un seko labas lietas” ir sagrauta. Nākamgad prakses vietas grupā netiks piedāvātas.
