Block представила голосовую модель Dessa, которая работает локально и звучит по-человечески
Компания Block Джека Дорси выпустила голосовую модель Dessa, которая может одновременно говорить и слушать и работает локально на потребительском оборудовании. Публичного доступа к ней пока нет.
Финтех-компания Block, которую возглавляет Джек Дорси, представила из своей исследовательской лаборатории новую голосовую модель Dessa. Она воспроизводит человеческие проявления — смех, паузы, плач — и может работать локально, без удалённых серверов. О релизе компания объявила 23 октября.
Как работает модель
По словам Block, Dessa обучена исключительно на человеческой речи с использованием одного графического процессора NVIDIA. Это полнодуплексная модель: она способна говорить и слушать одновременно, подобно модели GPT-Live, выпущенной OpenAI в этом году.
Обычно речевые модели соединяют с большой языковой моделью, которая обеспечивает знания. Block заявляет, что знания Dessa происходят из разговорных данных, на которых она обучалась.
Компания считает, что нынешний голосовой ИИ звучит неестественно, поскольку генерацию речи направляет текст. Модели вроде ElevenLabs v4 или Fish Audio Drama 3 управляют эмоциями с помощью голосовых тегов. Block утверждает, что в Dessa эмоции встроены в саму модель, но неясно, не регулируются ли они всё же какими-то тегами.
В блоге компания отметила, что преобразование речи в текст отбрасывает большой объём информации и что самые мощные ИИ не способны услышать, что чувствует человек.
Примеры и доступность
Исследователи опубликовали несколько примеров диалогов с разными голосами, темпом речи и эмоциями. В одном бот сказал, что устал на работе, и действительно звучал устало. В другом сотрудник Block играет в игру с голосовым ассистентом.
Модель может работать на потребительском компьютере уровня MacBook M4 Max или мощнее. Публичного доступа пока нет, а Block призвала исследователей безопасности протестировать модель — вероятно, чтобы оценить случаи, когда голосовой агент может обмануть собеседника.
Block работает в сфере финансов и продаёт решения малому бизнесу. Её платформа Square уже использует голосовой ИИ для приёма заказов. Собственная модель, работающая на устройстве, может позволить предлагать больше услуг для бизнеса и потребителей при меньших затратах.
