Synthesia создала интерактивного цифрового двойника журналистки TechCrunch
Synthesia создала интерактивный цифровой аватар журналистки TechCrunch Доминик-Мадори Дэвис. На его подготовку команде потребовалось несколько дней: были сделаны фотографии, записан двухминутный образец голоса и выбран один материал для обучения. Аватар отвечает только на вопросы о статье Дэвис, посвящённой мошенничеству в стартапах с венчурным финансированием.
Это первый такой аватар, который Synthesia подготовила для журналиста, отмечает TechCrunch. Помимо интерактивной версии компания сделала персональные аватары с очками и без них: они воспроизводят любой заданный сценарий, но не ведут диалог. Интерактивные варианты также существуют в двух версиях внешности.
Как устроен разговорный аватар
Технологическая цепочка объединяет несколько моделей. Модель распознавания речи превращает вопрос пользователя в текст, агентная языковая модель интерпретирует его и формирует ответ, система преобразования текста в речь озвучивает результат, а видеомодель Synthesia анимирует лицо во время разговора.
В данном случае система работает детерминированно: она не должна выходить за пределы обучающего материала. Когда Дэвис спрашивала аватар о прежней работе или районе проживания в Нью-Йорке, тот не отвечал на эти вопросы и возвращался к теме статьи. Такой подход ограничивает набор доступных ответов и не даёт модели сообщать сведения, которых нет в заданном контенте.
Продукты и варианты развёртывания
Synthesia развивает три направления. Первое — платформа для создания и распространения видео, где классический аватар озвучивает введённый пользователем текст. Второе — агентная платформа Sessions: она предназначена для опросов и ролевых сценариев. Например, в недавно запущенном продукте Roleplay Sessions сотрудники могут репетировать презентацию для продаж и получать оценку ответов от интерактивного аватара.
Третье направление — API-платформа, позволяющая сочетать видео- и голосовые модели Synthesia с другими сервисами для создания интерактивных аватаров и других продуктов. В проекте Дэвис использовались собственные видео- и голосовые модели компании. При этом клиентам доступны альтернативы от Cartesia, ElevenLabs, Google и OpenAI.
Компании также могут разместить аватары в выбранном ими облаке либо поручить хостинг Synthesia. Британская компания, открывшая офис в Нью-Йорке, сообщала о преодолении отметки в 100 млн долларов годового регулярного дохода в прошлом году; ранее в этом году её оценка достигла 4 млрд долларов.
Практический смысл для компаний
Опыт с аватаром журналистки показывает прикладную модель использования технологии: цифровому собеседнику можно задать узкий корпус знаний и понятный сценарий общения. Это подходит для обучения, симуляции рабочих диалогов, ответов на типовые вопросы и опросов, где важны воспроизводимые рамки ответа.
Для бизнеса ключевым становится не только качество голоса и визуального сходства, но и настройка границ: какие материалы доступны модели, как она реагирует на вопросы вне темы и где размещаются данные. В таком виде интерактивный аватар становится интерфейсом к конкретной базе знаний, а не заменой сотрудника в неограниченном разговоре.