ElevenLabs pubblica una guida sull’infrastruttura dell’IA vocale, ovvero l’insieme di modelli, connessioni e servizi che permettono a un agente di ascoltare una chiamata, decidere il seguito, agire in altri sistemi e rispondere a voce alta. Secondo la guida, presso i principali fornitori, incluso ElevenLabs, questo ciclo si svolge in una frazione di secondo. Un agente vocale di produzione si basa su nove livelli, dal riconoscimento vocale alla supervisione.
- L’agente vocale ascolta, decide e risponde in una frazione di secondo.
- Il riconoscimento vocale è il primo livello, e un suo errore si propaga a tutte le fasi successive.
- L’audio di risposta parte prima che il testo completo esista, con un ritardo mediano di circa 150 ms.
- Gli strumenti MCP e la RAG collegano l’agente ai sistemi aziendali, mentre le autorizzazioni restano disattivate di default.
Ascoltare, decidere, rispondere
Il funzionamento segue una catena: l’audio viene trasformato in testo, un modello linguistico (LLM, grande modello linguistico) interpreta la richiesta e produce una risposta, poi questa viene convertita in voce. La guida precisa che questo processo non è lineare. ElevenAgents inizia a parlare non appena riceve «abbastanza parole e una virgola» dal modello, cosicché l’audio inizia prima che la risposta completa esista.
Il riconoscimento vocale, o ASR, è il primo livello. Per ElevenLabs, la sua affidabilità è determinante, perché un errore si propaga a tutte le fasi successive. La guida cita un esempio del suo quadro di fiducia per la salute: una sola sillaba mal udita può trasformare «hydroxyzine» in «hydralazine». ElevenAgents utilizza Scribe v2 Realtime, che trascrive il parlato in circa 150 ms. Sul benchmark multilingue FLEURS, che copre 30 lingue, ElevenLabs afferma di aver ottenuto il tasso di errore sulle parole più basso tra i modelli ASR a bassa latenza. Sul benchmark medico Eka, Scribe v2 Medical raggiunge un tasso di errore sulle parole del 7,0%, secondo l’azienda.
La gestione dei turni di parola decide del momento in cui l’agente risponde e di quando tace. La guida ricorda che uno scarto di circa 200 ms è abituale tra due interlocutori umani. ElevenAgents si basa su un modello proprietario che analizza il tono, il ritmo e il contesto delle parole piuttosto che semplici timer di silenzio. Il ritardo mediano tra la richiesta e la prima parola udibile è, secondo ElevenLabs, di circa 150 ms con Eleven v4 Turbo.
Per i modelli linguistici, ElevenAgents propone modelli di Google, OpenAI e Anthropic, oltre a modelli open ospitati da ElevenLabs. In caso di guasto, un meccanismo di «cascata» passa a un modello di riserva dopo un ritardo predefinito di 4 secondi, regolabile da 2 a 15 secondi, con almeno tre tentativi.
Agire, poi misurare
Gli strumenti e il protocollo MCP (Model Context Protocol, uno standard aperto che permette ai modelli di accedere a strumenti esterni) permettono all’agente di consultare un sistema di prenotazione o di aggiornare un CRM. Le autorizzazioni sono disabilitate di default in ogni spazio di lavoro, e l’amministratore sceglie una modalità di approvazione per ogni server. Sul lato conoscenze, la generazione aumentata per recupero (RAG) cerca i passaggi pertinenti nei documenti aziendali prima di rispondere. ElevenLabs indica di aver ridotto la latenza mediana di questo recupero da 326 ms a 155 ms.
La guida descrive anche i guardrail, quelli della versione 2.0 presentata a settembre 2026, oltre ai test e agli esperimenti A/B. ElevenAgents rivendica più di 10 milioni di conversazioni alla settimana. La guida cita anche il caso di Meesho, che automatizzerebbe circa il 90% delle richieste di supporto, e quello della Repubblica Ceca, dove degli agenti gestirebbero circa 5.000 chiamate al giorno su linee di assistenza sociale, con l’85% delle richieste risolte senza intervento umano, secondo un rapporto citato dall’azienda.
