ElevenLabs, una startup de origen polaco, anunció el martes 20 de octubre una nueva familia de modelos speech-to-speech (que procesan la voz de entrada y salida sin pasar por una etapa de transcripción escrita), bautizada como Eleven Realtime v1. Disponible en dos versiones, Mini y Max, se presenta como un conjunto de agentes vocales completos, compatibles con la API Realtime de OpenAI. Según la empresa, los modelos están disponibles desde el lanzamiento.
- ElevenLabs lanza Eleven Realtime v1, una familia de modelos speech-to-speech en versiones Mini y Max.
- El Max destaca en razonamiento y uso de herramientas, con un 98,8 % en Big Bench Audio.
- El Mini responde en 500 milisegundos y basta para la mayoría de los casos de uso.
- La API es compatible con la de OpenAI y solo requiere cambiar el endpoint y el nombre del modelo.
ElevenLabs afirma haber logrado conciliar precisión y rapidez de respuesta, dos cualidades que solían implicar compromisos. La familia también gestiona pausas, interrupciones y turnos de palabra, para hacer la conversación más natural. Soporta hasta 90 idiomas y puede utilizar las 17.000 voces de la biblioteca de ElevenLabs.
Dos modelos con usos distintos
ElevenLabs presenta Eleven Realtime v1 Mini para conversaciones en lenguaje natural simple, cuando la latencia (el retraso antes de la respuesta) es prioritaria. Según la empresa, este modelo basta para la mayoría de los casos de uso. Eleven Realtime v1 Max apunta, en cambio, a tareas donde el razonamiento y la precisión importan más, como el servicio al cliente o los flujos de trabajo agenticos, es decir, las secuencias de acciones automatizadas. Es especialmente adecuado para solicitudes que requieren un razonamiento en varias etapas, con apoyo de herramientas.
Los dos modelos han sido entrenados para funcionar de forma nativa como agentes vocales. Anteriormente, ElevenLabs combinaba varios modelos para la IA vocal, incluidos los de transcripción, procesamiento del lenguaje y síntesis de voz. La nueva familia agrupa ahora estas etapas en un solo modelo de speech-to-speech.
Puntuaciones detalladas por benchmark
Las cifras comunicadas, procedentes de una evaluación de Artificial Analysis según ElevenLabs, muestran una clara diferencia entre las dos versiones. En razonamiento vocal, medido por el benchmark Big Bench Audio, el Max alcanza un 98,8 % de precisión, frente al 75,9 % del Mini. El Max supera así a Grok Voice 3.0 (98,5 %) y Gemini 3.8 Live Extended Thinking (97,7 %). En dinámica conversacional, medida por Full-Duplex-Bench, el Mini obtiene un 95,8 %, ligeramente por delante del Max (94,1 %), un nivel que la fuente considera cercano al de GPT-Realtime 2.1 de OpenAI. La diferencia se amplía en tareas que implican llamadas a herramientas, donde el Max tiene éxito en el 87,1 % de los casos, frente al 60,3 % del Mini.
En la Speech Agent Arena, donde usuarios comparan dos modelos sin saber cuál escuchan, el Max obtiene 998 puntos y el Mini 988. En cuanto a latencia, el Max responde en 470 milisegundos y el Mini en 500. Grok Voice 3.0 responde en 810 milisegundos. Según Artificial Analysis, ningún modelo es a la vez más preciso y más rápido que el Max, que ofrece el mejor compromiso entre precisión y latencia.
Acceso, API y clientes
La familia es accesible en ElevenLabs, en ElevenAgents, para un despliegue por teléfono, en la web, en WhatsApp o a través de plataformas de centro de contacto. También está disponible a través de la Realtime API de la empresa, en WebSocket, no estando soportado WebRTC en el lanzamiento. Según ElevenLabs, esta API es totalmente compatible con la de OpenAI: para migrar un flujo de trabajo vocal, basta con cambiar el endpoint (la dirección de llamada de la API) y el nombre del modelo.
En ElevenAgents, los modelos Realtime siguen la tarificación estándar por minuto. A través de la Realtime API, la empresa factura el minuto de audio conectado, así como los tokens, cuyo precio permanece idéntico independientemente de la fórmula. El precio por token aún no ha sido comunicado. ElevenLabs cuenta además con grupos europeos entre sus clientes, incluidos Deutsche Telekom, Revolut y Klarna. Las grandes organizaciones representan ahora el 55 % de su facturación, frente al 40 % hace doce meses.
