Nvidia izlaidusi atvērtu runas transkribēšanas modeli Nemotron 3.5 Transcribe
Amerikāņu mikroshēmu un mākslīgā intelekta uzņēmums Nvidia trešdien laida klajā bezmaksas atvērto modeli Nemotron 3.5 Transcribe, kas pārveido runu tekstā līdz 40 valodās. Līdz ar to atjaunināta arī atvērtā runas datu kopa Granary.
Amerikāņu uzņēmums Nvidia, kas ražo mikroshēmas un izstrādā mākslīgā intelekta rīkus, trešdien, 28. oktobrī, publiskoja jaunu runas atpazīšanas modeli Nemotron 3.5 Transcribe. Tas ir bezmaksas modelis ar atvērtiem svariem (open-weight), kas audio ierakstus pārvērš tekstā līdz 40 valodās. Rīks paredzēts izstrādātājiem, kuri veido lietotnes, piemēram, darba sanāksmju un medicīnisko ierakstu transkribēšanai — abās jomās mākslīgais intelekts darbavietās jau ir visvairāk nostiprinājies.
Kopā ar modeli Nvidia izlaidusi arī atvērtā koda runas datu kopas Granary otro versiju.
Ko modelis spēj
Pēc uzņēmuma norādītā, Nemotron 3.5 var tulkot 31 valodu uz angļu valodu un no tās, apstrādāt ierakstus līdz vienai stundai garumā un nošķirt līdz astoņiem dažādiem runātājiem. Nvidia apgalvo, ka modelis pārspēj konkurentus vairākos salīdzinošos testos, tostarp Hugging Face vadošajā ASR (automātiskās runas atpazīšanas) rangā Open ASR Leaderboard.
Izstrādātāji varēs izmantot modeli, atjaunināto Granary datu kopu un tādus rīkus kā NeMo Speech, lai pielāgotu lietotnes konkrētas nozares žargonam katrā valodā.
Ierobežojumi un aparatūra
Viens no trūkumiem: Transcribe darbojas ar jau ierakstītu audio, nevis ar tiešraides straumēm. Modelim ir 30 miljardi parametru, un Nvidia sola, ka tas var darboties uz vienas mikroshēmas — sākot no Jetson AGX Thor robotikas kontrollera un jaunajos portatīvajos datoros izmantotās DGX Spark mikroshēmas līdz Blackwell datu centru mikroshēmām.
Modelis papildina Nvidia atvērto balss modeļu klāstu, kurā ir arī mazais Parakeet ar 1,1 miljardu parametru.
Konkurence balss jomā
Nvidia jaunums nāk laikā, kad tirgū parādās vairāki balss mākslīgā intelekta risinājumi: Mistral šomēnes izlaida Voxtral 3, ElevenLabs pieteica Realtime tūlītējai runai balss aģentos, bet Salesforce laida klajā savu balss modeli Launa-Omni.
