ElevenLabs представила v4 с клонированием голоса за 10 секунд

ElevenLabs представила речевые модели ElevenLabs v4 и v4 Turbo с поддержкой более 90 языков, расширенным контролем экспрессии и возможностью клонировать голос по 10 секундам аудиозаписи. Компания позиционирует новинки для творческих задач и голосовых агентов, которым важна низкая задержка ответа.

Новая архитектура и управление интонацией

Для поколения v4 ElevenLabs использовала новую архитектуру. По заявлению компании, она ускоряет создание голосовых клонов и даёт больше контроля над тем, как синтезатор произносит текст.

Модель должна лучше сохранять голосовую идентичность на длинных фрагментах. Она также учитывает контекст текста во время озвучивания, чтобы менять экспрессию в зависимости от содержания.

В v3 ElevenLabs ввела inline-теги для задания выразительности речи. В v4 их набор расширен: пользователи могут комбинировать несколько тегов, а модель должна следовать заданной последовательности.

Языки и сценарии для контакт-центров

Предыдущая версия поддерживала 70 языков, тогда как v4 работает более чем с 90. ElevenLabs отметила наибольший прирост качества для японского, бразильского варианта португальского, мандаринского и кантонского языков.

Для разговорных систем важна и скорость: v4 может начать генерировать аудио, как только языковая модель начинает формировать ответ. Компания утверждает, что уменьшенная задержка поможет сделать диалог более плавным.

В модели также предусмотрена разная обработка конфронтаций, эскалаций и удержания звонка, что должно помогать в разрешении обращений. Контекст роста компании задаёт рост корпоративного направления ElevenLabs и показывает, почему корпоративные сценарии стали одним из ключевых направлений её продуктовой стратегии.

Что это меняет для компаний

На рынке выразительного синтеза речи ElevenLabs конкурирует с Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs; голосовые модели развивают также Google и OpenAI. По словам ElevenLabs, более 55% её бизнеса уже приходится на крупные компании.

При выборе голосового решения бизнесу стоит проверять качество на нужных языках, устойчивость голоса в длинных диалогах, задержку и управляемость интонаций в сложных сценариях. v4 расширяет эти параметры, но результат зависит от конкретного сценария и настройки системы.