Block izlaidis jaunu balss modeli Dessa, kas darbojas lokāli un skan pārsteidzoši cilvēcīgi

Fintech uzņēmums Block, ko vada Džeks Dorsijs, savā pētniecības laboratorijā izstrādājis jaunu balss modeli Dessa. Tas atdarina cilvēka runu ar smiekliem, pauzēm un raudu, un var darboties lokāli, bez attālinātiem serveriem. Uzņēmums to paziņoja 23. oktobrī.

Kā modelis darbojas

Block norāda, ka Dessa apmācīts tikai ar cilvēku runu un izmantojot vienu NVIDIA grafisko procesoru. Tas ir pilnā dupleksa modelis: spēj runāt un klausīties vienlaikus, līdzīgi kā šogad OpenAI izlaistais GPT-Live.

Parasti runas modeļus savieno ar lielu valodas modeli, kas nodrošina zināšanas. Block saka, ka Dessa zināšanas izriet no sarunu datiem, uz kuriem tas apmācīts.

Uzņēmums uzskata, ka pašreizējie balss mākslīgā intelekta risinājumi skan nedabiski, jo runas ģenerēšanu virza teksts. Tādi modeļi kā ElevenLabs v4 vai Fish Audio Drama 3 emocijām izmanto balss birkas. Block apgalvo, ka Dessa emocijas ir iebūvētas pašā modelī, taču nav skaidrs, vai tās tomēr netiek regulētas ar kādām birkām.

Bloga ierakstā uzņēmums norādīja, ka teksta izmantošana zaudē lielu daļu informācijas un ka jaudīgākais mākslīgais intelekts nespēj sadzirdēt, kā cilvēks jūtas.

Piemēri un pieejamība

Pētnieki publicēja vairākus sarunu piemērus ar atšķirīgām balsīm, runas ritmu un emocijām. Vienā no tiem bots teica, ka ir noguris no darba, un arī skanēja noguris. Cits piemērs rāda Block darbinieku spēlējam spēli ar balss asistentu.

Modelis var darboties uz patērētāju datora, piemēram, MacBook M4 Max vai jaudīgāka. Publiskas piekļuves pagaidām nav, un Block aicinājis drošības pētniekus to pārbaudīt, visticamāk, lai izvērtētu gadījumus, kad balss aģents varētu maldināt cilvēkus.

Block darbojas finanšu jomā un piedāvā risinājumus maziem uzņēmumiem. Tā platforma Square jau izmanto balss mākslīgo intelektu pasūtījumu pieņemšanai. Pašu izstrādāts, ierīcē darbināms modelis varētu ļaut piedāvāt vairāk pakalpojumu zemākā izmaksu līmenī.