Amazon izlaidis rīku TorchNeuron, lai mākslīgā intelekta lietotnes pārceltu uz Trainium mikroshēmām
Amazona mākoņpakalpojumu nodaļa AWS pirmdien laida klajā rīku TorchNeuron, kas ļauj PyTorch lietotnes darbināt uz uzņēmuma Trainium mikroshēmām, mainot vienu konfigurācijas rindiņu. Tā ir tiešs izaicinājums Nvidia programmatūras priekšrocībai mākslīgā intelekta tirgū.
Amazona mākoņpakalpojumu nodaļa Amazon Web Services (AWS) pirmdien, 19. oktobrī, izlaida rīku TorchNeuron. Tas jaunuzņēmumiem ļauj vienkārši pārnest mākslīgā intelekta (MI) lietotnes uz Amazon izstrādāto MI mikroshēmu Trainium. Šis solis mērķēts uz programmatūras priekšrocību, kas Nvidia ir palīdzējusi kļūt par noklusēto aparatūras izvēli MI jomā.
TorchNeuron darbojas kopā ar PyTorch – bezmaksas atvērtā koda rīkkopu, ar ko izstrādātāji veido, trenē un palaiž MI modeļus. Pēc Amazon datiem, ar PyTorch uzrakstīti aptuveni 85% MI lietotņu. To sākotnēji izstrādāja Facebook, bet kopš 2022. gada tā ir Linux Foundation paspārnē – organizācijā, kas uztur atvērtā koda projektus. Lai lietotne darbotos uz Trainium, pēc uzņēmuma teiktā, pietiek mainīt vienu konfigurācijas rindiņu, pārrakstot kodu nav jāpārraksta.
Nvidia priekšrocība
Nvidia gadiem ir nodrošinājusi, ka tās CUDA programmatūra – infrastruktūra, kas ļauj lietotnēm darboties uz Nvidia grafiskajiem procesoriem – bez problēmām atbalsta PyTorch. Tāpēc uzņēmuma aparatūra rīkkopā ir iesakņojusies gandrīz pēc noklusējuma. Amazon nav pirmais, kas mēģina atvieglot citu mikroshēmu izmantošanu: PyTorch lietotnes var pārnest arī uz AMD grafiskajiem procesoriem vai Apple mikroshēmām.
Amazon uzsver, ka Trainium dod piekļuvi visam AWS mākonim. Uzņēmums apgalvo, ka tas ir labāka izvēle nekā tā dēvētie neomākoņi, kuri bieži saistīti ar Nvidia, piemēram, Coreweave, Nebius un Firmus. AWS Annapurna Labs (nodaļa, kas ražo Amazon pašu mikroshēmas) tehnoloģiju programmatūras viceprezidents Kolins Breiss norādīja, ka tā pati mikroshēma veic gan modeļu apmācību, gan secināšanu, tādēļ uzlabojas izmaksu ekonomika, pat ja AWS nepiedāvā zemāko cenu par tokenu. Kā piemēru viņš minēja balss MI uzņēmumu Deepgram, kas pēc pārejas apstrādā par 70% vairāk audio par vienu dolāru.
Ietekme uz PyTorch
Amazon arī plāno ieviest izmaiņas pašā PyTorch projektā, lai noņemtu kodu, kas rīkkopu piesaista konkrētām mikroshēmām, un padarītu to neatkarīgāku no aparatūras. Vai tas izstrādātājiem dos lielāku izvēli un lētākus risinājumus, kā solīts, vai tikai papildu konfigurēšanas problēmas, vēl būs redzams.
