ElevenLabs, стартап польского происхождения, объявил во вторник, 20 октября, о новой семействе моделей speech-to-speech (обрабатывающих голос на входе и выходе без промежуточного этапа текстовой транскрипции) под названием Eleven Realtime v1. Она представлена в двух версиях, Mini и Max, и позиционируется как набор полноценных голосовых агентов, совместимых с Realtime API от OpenAI. По словам компании, модели доступны с момента запуска.
ElevenLabs утверждает, что им удалось совместить точность и скорость ответа — два качества, которые часто требовали компромиссов. Семейство также управляет паузами, прерываниями и очередностью реплик, чтобы сделать разговор более естественным. Оно поддерживает до 90 языков и может использовать 17 000 голосов из библиотеки ElevenLabs.
Две модели для разных задач
Eleven Realtime v1 Mini предназначена для простых разговоров на естественном языке, когда приоритетом является низкая задержка (латентность) ответа. По утверждению компании, этой модели достаточно для большинства случаев использования. Eleven Realtime v1 Max, в свою очередь, нацелена на задачи, где важнее рассуждение и точность, например, обслуживание клиентов или агентские рабочие процессы (последовательности автоматизированных действий). Она особенно подходит для запросов, требующих многоэтапного рассуждения с использованием инструментов.
Обе модели были обучены для работы в качестве голосовых агентов изначально. Ранее ElevenLabs комбинировала несколько моделей для голосового ИИ, включая модели для транскрипции, обработки языка и синтеза речи. Новое семейство теперь объединяет эти этапы в единую модель speech-to-speech.
Детальные оценки по бенчмаркам
Опубликованные цифры, основанные на оценке Artificial Analysis по данным ElevenLabs, показывают явный разрыв между двумя версиями. По голосовому рассуждению, измеряемому бенчмарком Big Bench Audio, Max достигает точности 98,8%, против 75,9% у Mini. Таким образом, Max опережает Grok Voice 3.0 (98,5%) и Gemini 3.8 Live Extended Thinking (97,7%). По динамике разговора, измеряемой Full-Duplex-Bench, Mini получает 95,8%, немного опережая Max (94,1%), — уровень, который источник считает близким к GPT-Realtime 2.1 от OpenAI. Разрыв увеличивается в задачах с вызовами инструментов, где Max справляется в 87,1% случаев, а Mini — в 60,3%.
В Speech Agent Arena, где пользователи сравнивают две модели, не зная, какую слушают, Max набирает 998 очков, а Mini — 988. По задержке Max отвечает за 470 миллисекунд, а Mini — за 500. Grok Voice 3.0 отвечает за 810 миллисекунд. По данным Artificial Analysis, ни одна модель не является одновременно точнее и быстрее, чем Max, который предлагает лучший компромисс между точностью и задержкой.
Доступ, API и клиенты
Семейство доступно на платформе ElevenLabs в разделе ElevenAgents для развертывания через телефон, веб, WhatsApp или платформы контакт-центров. Оно также доступно через Realtime API компании по протоколу WebSocket; поддержка WebRTC на момент запуска не предусмотрена. По словам ElevenLabs, этот API полностью совместим с API OpenAI: для миграции голосового рабочего процесса достаточно изменить эндпоинт (адрес вызова API) и имя модели.
В ElevenAgents модели Realtime следуют стандартному поминутному тарифу. Через Realtime API компания взимает плату за минуту подключенного аудио, а также за токены, цена которых остается одинаковой независимо от тарифного плана. Стоимость токена пока не объявлена. Среди клиентов ElevenLabs есть европейские группы, включая Deutsche Telekom, Revolut и Klarna. Крупные организации теперь составляют 55% её выручки по сравнению с 40% двенадцать месяцев назад.
