Журналистка TechCrunch создала собственного говорящего ИИ-аватара с помощью Synthesia

Стартап Synthesia, занимающийся генерацией видео и оценённый в этом году в 4 миллиарда долларов, создал интерактивный цифровой аватар журналистки TechCrunch — первый подобный аватар, сделанный компанией для журналиста или любого человека вне собственного штата.

Аватар был создан в новом офисе Synthesia в Нью-Йорке, где журналистку сфотографировали и записали двухминутный образец её голоса. Команда изготовила как простые аватары, читающие заданный текст, так и интерактивные версии, способные слушать и отвечать. Интерактивный аватар обучили отвечать только на вопросы об одной конкретной статье — о мошенничестве в стартапах, финансируемых венчурным капиталом.

Как это устроено

Технологическая основа аватара включает модель распознавания речи, языковую модель для обработки и генерации ответов, модель синтеза речи и видеомодель, разработанную самой Synthesia, которая анимирует аватар во время разговора. Клиенты также могут использовать голосовые и видеомодели от других компаний — Cartesia, ElevenLabs, Google или OpenAI. Создание аватаров заняло у команды Synthesia несколько дней.

Поскольку аватар детерминирован, он отвечает только в рамках обученной темы, а на любые посторонние вопросы перенаправляет разговор обратно к статье. Друзья и родные журналистки, протестировав аватара, назвали его впечатляющим, но немного жутковатым — голос и внешнее сходство оказались не идеально точными.

Synthesia выпускает три типа продуктов: платформу для создания видео с классическими аватарами, агентную платформу Sessions для ролевых игр и опросов, а также API-платформу для создания собственных интерактивных решений. Опыт заставил задуматься, смогут ли аватары в будущем дополнить или даже заменить журналистов, хотя в материале отмечается, что доверие остаётся человеческим фактором, который сложно автоматизировать.