ElevenLabs, startup di origine polacca, annuncia martedì 20 ottobre una nuova famiglia di modelli speech-to-speech (che elaborano la voce in input e output, senza passare per una fase di trascrizione scritta), battezzata Eleven Realtime v1. Disponibile in due versioni, Mini e Max, è presentata come un insieme di agenti vocali completi, compatibili con l’API Realtime di OpenAI. Secondo l’azienda, i modelli sono disponibili fin dal lancio.
- ElevenLabs lancia Eleven Realtime v1, una famiglia di modelli speech-to-speech disponibili in versione Mini e Max.
- Il Max eccelle nel ragionamento e nelle chiamate a strumenti, mentre il Mini risponde più rapidamente.
- L’API è compatibile con quella di OpenAI : basta cambiare endpoint e nome del modello per migrare.
- Clienti europei come Deutsche Telekom, Revolut e Klarna usano già la piattaforma.
ElevenLabs afferma di essere riuscita a conciliare precisione e rapidità di risposta, due qualità che spesso andavano di pari passo con dei compromessi. La famiglia gestisce anche le pause, le interruzioni e i turni di parola, per rendere la conversazione più naturale. Supporta fino a 90 lingue e può utilizzare le 17.000 voci della libreria di ElevenLabs.
Due modelli con usi distinti
ElevenLabs presenta Eleven Realtime v1 Mini per le conversazioni in linguaggio naturale semplice, quando la latenza (il ritardo prima della risposta) è prioritaria. Secondo l’azienda, questo modello basta per la maggior parte dei casi d’uso. Eleven Realtime v1 Max mira, invece, ai compiti in cui il ragionamento e la precisione contano di più, come il servizio clienti o i flussi di lavoro agentici, cioè le sequenze di azioni automatizzate. È particolarmente adatto alle richieste che richiedono un ragionamento in più fasi, con il supporto di strumenti.
Entrambi i modelli sono stati addestrati per funzionare nativamente come agenti vocali. In precedenza, ElevenLabs combinava diversi modelli per l’IA vocale, in particolare per la trascrizione, l’elaborazione del linguaggio e la sintesi vocale. La nuova famiglia raggruppa ora queste fasi in un unico modello speech-to-speech.
Punteggi dettagliati per benchmark
I dati comunicati, provenienti da una valutazione di Artificial Analysis secondo ElevenLabs, mostrano un netto divario tra le due versioni. Sul ragionamento vocale, misurato dal benchmark Big Bench Audio, il Max raggiunge il 98,8% di precisione, contro il 75,9% del Mini. Il Max supera così Grok Voice 3.0 (98,5%) e Gemini 3.8 Live Extended Thinking (97,7%). Sulla dinamica conversazionale, misurata da Full-Duplex-Bench, il Mini ottiene il 95,8%, leggermente davanti al Max (94,1%), un livello che la fonte giudica vicino a quello di GPT-Realtime 2.1 di OpenAI. Il divario si amplia sui compiti che coinvolgono chiamate a strumenti, dove il Max riesce nell’87,1% dei casi, contro il 60,3% del Mini.
Nella Speech Agent Arena, dove gli utenti confrontano due modelli senza sapere quale stanno ascoltando, il Max ottiene 998 punti e il Mini 988. Per quanto riguarda la latenza, il Max risponde in 470 millisecondi e il Mini in 500. Grok Voice 3.0 risponde in 810 millisecondi. Secondo Artificial Analysis, nessun modello è allo stesso tempo più preciso e più veloce del Max, che offre il miglior compromesso tra precisione e latenza.
Accesso, API e clienti
La famiglia è accessibile su ElevenLabs, in ElevenAgents, per un deployment via telefono, sul web, su WhatsApp o tramite piattaforme di contact center. È disponibile anche tramite la Realtime API dell’azienda, in WebSocket, mentre il WebRTC non è supportato al lancio. Secondo ElevenLabs, questa API è completamente compatibile con quella di OpenAI: per migrare un flusso di lavoro vocale, basta cambiare l’endpoint (l’indirizzo di chiamata dell’API) e il nome del modello.
In ElevenAgents, i modelli Realtime seguono la tariffazione standard al minuto. Tramite la Realtime API, l’azienda fattura il minuto di audio connesso, oltre ai token, il cui prezzo rimane identico indipendentemente dalla formula. Il prezzo per token non è stato ancora comunicato. ElevenLabs annovera inoltre tra i suoi clienti gruppi europei, tra cui Deutsche Telekom, Revolut e Klarna. Le grandi organizzazioni rappresentano ormai il 55% del suo fatturato, contro il 40% di dodici mesi fa.
