ElevenLabs publica una guía sobre la infraestructura de la IA vocal, es decir, el conjunto de modelos, conexiones y servicios que permiten a un agente escuchar una llamada, decidir qué hacer a continuación, actuar en otros sistemas y responder en voz alta. Según la guía, en los principales proveedores, incluido ElevenLabs, este ciclo se completa en una fracción de segundo. Un agente vocal de producción se basa en nueve capas, desde el reconocimiento de voz hasta la supervisión.
- ElevenLabs describe la infraestructura de un agente de voz IA en nueve capas.
- El agente escucha, decide y responde en una fracción de segundo.
- Un error de transcripción se propaga a todas las etapas siguientes.
- Las herramientas MCP permiten actuar en sistemas externos, con permisos desactivados por defecto.
Escuchar, decidir, responder
El funcionamiento sigue una cadena: el audio se transforma en texto, un modelo de lenguaje (LLM, modelo de lenguaje grande) interpreta la solicitud y produce una respuesta, luego esta se convierte en voz. La guía precisa que este proceso no es lineal. ElevenAgents comienza a hablar tan pronto como recibe «suficientes palabras y una coma» del modelo, de modo que el audio comienza antes de que exista la respuesta completa.
El reconocimiento de voz, o ASR, es la primera capa. Para ElevenLabs, su fiabilidad es determinante, porque un error se propaga a todas las etapas siguientes. La guía cita un ejemplo de su marco de confianza para la salud: una sola sílaba mal escuchada puede transformar «hydroxyzine» en «hydralazine». ElevenAgents utiliza Scribe v2 Realtime, que transcribe el habla en aproximadamente 150 ms. En el benchmark multilingüe FLEURS, que cubre 30 idiomas, ElevenLabs afirma haber obtenido la tasa de error de palabras más baja entre los modelos ASR de baja latencia. En el benchmark médico Eka, Scribe v2 Medical alcanza un 7,0 % de tasa de error de palabras, según la empresa.
La gestión de los turnos de palabra decide cuándo responde el agente y cuándo calla. La guía recuerda que una diferencia de unos 200 ms es habitual entre dos interlocutores humanos. ElevenAgents se basa en un modelo propietario que analiza el tono, el ritmo y el contexto de las palabras en lugar de simples temporizadores de silencio. El retardo mediano entre la solicitud y la primera palabra audible es, según ElevenLabs, de aproximadamente 150 ms con Eleven v4 Turbo.
Para los modelos de lenguaje, ElevenAgents ofrece modelos de Google, OpenAI y Anthropic, así como modelos abiertos alojados por ElevenLabs. En caso de fallo, un mecanismo de «cascada» cambia a un modelo de respaldo después de un retardo por defecto de 4 segundos, ajustable de 2 a 15 segundos, con al menos tres intentos.
Actuar, luego medir
Las herramientas y el protocolo MCP (Model Context Protocol, un estándar abierto que permite a los modelos acceder a herramientas externas) permiten al agente consultar un sistema de reservas o actualizar un CRM. Los permisos están desactivados por defecto en cada espacio de trabajo, y el administrador elige un modo de aprobación para cada servidor. En cuanto al conocimiento, la generación aumentada por recuperación (RAG) busca los pasajes relevantes en los documentos de la empresa antes de responder. ElevenLabs indica haber reducido la latencia mediana de esta recuperación de 326 ms a 155 ms.
La guía describe también las salvaguardias, las de la versión 2.0 presentada en septiembre de 2026, así como las pruebas y los experimentos A/B. ElevenAgents afirma tener más de 10 millones de conversaciones por semana. La guía cita también el caso de Meesho, que automatizaría alrededor del 90 % de las solicitudes de soporte, y el de la República Checa, donde unos agentes procesarían alrededor de 5 000 llamadas diarias en líneas de ayuda social, con un 85 % de las solicitudes resueltas sin intervención humana, según un informe citado por la empresa.
