A ElevenLabs publica um guia sobre a infraestrutura da IA vocal, ou seja, o conjunto de modelos, conexões e serviços que permitem a um agente ouvir uma chamada, decidir o que fazer a seguir, agir noutros sistemas e responder em voz alta. Segundo o guia, nos principais fornecedores, incluindo a ElevenLabs, este ciclo ocorre numa fração de segundo. Um agente vocal de produção assenta em nove camadas, desde o reconhecimento de voz até à supervisão.
- A ElevenLabs descreve a infraestrutura de um agente vocal por IA como uma pilha de nove camadas.
- O agente transcreve a fala, interpreta o pedido com um modelo de linguagem e responde em voz, num ciclo de fração de segundo.
- Um erro no reconhecimento de voz propaga-se a todas as etapas seguintes, por isso a sua fiabilidade é determinante.
- Através do MCP, o agente acede a sistemas externos, mas as autorizações estão desativadas por predefinição.
Ouvir, decidir, responder
O funcionamento segue uma cadeia: o áudio é transformado em texto, um modelo de linguagem (LLM, grande modelo de linguagem) interpreta o pedido e produz uma resposta, que depois é convertida em voz. O guia especifica que este processo não é linear. O ElevenAgents começa a falar logo que recebe «palavras suficientes e uma vírgula» do modelo, de modo que o áudio começa antes de a resposta completa existir.
O reconhecimento de voz, ou ASR, é a primeira camada. Para a ElevenLabs, a sua fiabilidade é determinante, pois um erro propaga-se a todas as etapas seguintes. O guia cita um exemplo do seu quadro de confiança para a saúde: uma única sílaba mal ouvida pode transformar «hidroxizina» em «hidralazina». O ElevenAgents utiliza o Scribe v2 Realtime, que transcreve a fala em cerca de 150 ms. No benchmark multilingue FLEURS, que abrange 30 línguas, a ElevenLabs afirma ter obtido a taxa de erro de palavras mais baixa entre os modelos ASR de baixa latência. No benchmark médico Eka, o Scribe v2 Medical atinge 7,0% de taxa de erro de palavras, segundo a empresa.
A gestão dos turnos de fala decide o momento em que o agente responde e o momento em que se cala. O guia recorda que um intervalo de cerca de 200 ms é habitual entre dois interlocutores humanos. O ElevenAgents baseia-se num modelo proprietário que analisa o tom, o ritmo e o contexto das palavras em vez de simples temporizadores de silêncio. O atraso mediano entre o pedido e a primeira palavra audível é, segundo a ElevenLabs, de cerca de 150 ms com o Eleven v4 Turbo.
Para os modelos de linguagem, o ElevenAgents oferece modelos da Google, da OpenAI e da Anthropic, bem como modelos abertos alojados pela ElevenLabs. Em caso de falha, um mecanismo de «cascata» muda para um modelo de reserva após um atraso predefinido de 4 segundos, ajustável de 2 a 15 segundos, com pelo menos três tentativas.
Agir, depois medir
As ferramentas e o protocolo MCP (Model Context Protocol, uma norma aberta que permite aos modelos aceder a ferramentas externas) permitem ao agente consultar um sistema de reservas ou atualizar um CRM. As autorizações estão desativadas por predefinição em cada espaço de trabalho, e o administrador escolhe um modo de aprovação para cada servidor. Quanto aos conhecimentos, a geração aumentada por recuperação (RAG) procura as passagens relevantes nos documentos da empresa antes de responder. A ElevenLabs indica ter reduzido a latência mediana desta recuperação de 326 ms para 155 ms.
O guia descreve também as salvaguardas, as da versão 2.0 apresentada em setembro de 2026, bem como os testes e as experiências A/B. O ElevenAgents afirma ter mais de 10 milhões de conversações por semana. O guia cita igualmente o caso da Meesho, que automatizaria cerca de 90% dos pedidos de suporte, e o da República Checa, onde agentes tratariam cerca de 5000 chamadas por dia em linhas de apoio social, com 85% dos pedidos resolvidos sem intervenção humana, segundo um relatório citado pela empresa.
