ElevenLabs lancia due modelli di trascrizione vocale: Scribe v3, per le registrazioni, e Scribe v3 Live, per il tempo reale. Secondo l’azienda, Scribe v3 produce il 27% in meno di errori di parole rispetto a Scribe v2 su 102 lingue, e Scribe v3 Live ne produce il 43% in meno rispetto a Scribe v2 Realtime.
- ElevenLabs lancia Scribe v3 per le registrazioni e Scribe v3 Live per il tempo reale.
- Scribe v3 riduce del 27% gli errori di parole rispetto a Scribe v2 su 102 lingue.
- Scribe v3 Live migliora la diarizzazione e non interrompe i chiamanti che fanno una pausa.
- Eneco riconosce più spesso codici postali e numeri civici, e i modelli sono disponibili in ambienti isolati in UE, India e Singapore.
La trascrizione è la base di molti prodotti audio: resoconti di riunioni, agenti vocali, doppiaggio, documentazione clinica o archivi di trasmissione. Un errore commesso in questa fase si ripercuote su tutta la catena, dove costa molto di più da correggere. Tuttavia, l’audio reale è raramente pulito. Più persone parlano contemporaneamente, un cliente esita nel mezzo di una frase, o una chiamata coinvolge due interlocutori che non parlano la loro lingua madre.
Richieste che hanno plasmato Scribe v3
Scribe è già stato utilizzato per trascrivere « centinaia di milioni di ore » per applicazioni di appunti, centri di contatto, strumenti di documentazione clinica e agenti vocali. Secondo ElevenLabs, i team che lo utilizzavano richiedevano cinque miglioramenti. Le applicazioni per riunioni volevano una migliore identificazione dei parlanti negli scambi rapidi e con tre o più persone. I team di agenti vocali segnalavano che un timer di silenzio interrompe i chiamanti quando fanno una pausa. Altri chiedevano un livello di precisione più vicino a quello dell’elaborazione differita. I clienti indiani desideravano un hindi affidabile quanto l’inglese, anche quando i chiamanti passano da una lingua all’altra nel mezzo di una frase. Infine, molti volevano più controllo sulla formattazione, dai numeri scritti in cifre a liste di termini abbastanza lunghe per un catalogo prodotti.
Scribe v3 commette il 17% in meno di errori di diarizzazione rispetto a Scribe v2 sulle registrazioni con tre o più parlanti, casi in cui, secondo l’azienda, la maggior parte dei modelli esistenti fallisce. La diarizzazione indica l’identificazione di chi parla in ogni momento. Scribe v3 Live introduce questa funzione in tempo reale e mostra il 39% in meno di errori di diarizzazione rispetto al migliore degli altri modelli in tempo reale testati.
Per il rilevamento dei turni di parola, i sistemi classici si affidano ai silenzi. Una soglia breve rischia di interrompere le persone che fanno una pausa nel mezzo di una frase, mentre una soglia lunga dà un’impressione di lentezza. Scribe v3 Live si basa anche sul contesto della conversazione, così che un chiamante che si interrompe nel mezzo di un numero non viene tagliato. Questo rilevamento è già utilizzato in ElevenAgents ed è ora disponibile nell’API.
Il modello può anche prevedere le lingue che potrebbero apparire in una registrazione e scegliere di visualizzare i numeri in cifre o in lettere. Il « keyterm prompting » accetta fino a 1000 termini previsti, come nomi di marchi, acronimi o gergo, mentre la libreria di termini chiave, riservata a Scribe v3 Live, ne contiene migliaia e li consulta solo quando sente una corrispondenza probabile. Regole di formattazione, scritte in inglese semplice, possono anche essere applicate, ad esempio per scrivere ogni data nel formato AAAA-MM-GG.
Risultati misurati su diversi dataset
ElevenLabs ha confrontato i suoi modelli con Scribe v2, Scribe v2 Realtime e altri modelli popolari, sugli stessi dataset. La precisione multilingue è stata valutata su una versione interna del benchmark FLEURS, che testa la lettura breve e pulita in 102 lingue. Questo benchmark non permette di misurare la diarizzazione, poiché ogni estratto contiene un solo parlante. L’azienda ha quindi creato il proprio dataset, composto da riunioni, chiamate e note vocali reali in 16 lingue, che annuncia di voler pubblicare in open source prossimamente.
Su FLEURS, Scribe v3 riduce il tasso di errore sulle parole (WER) del 27% rispetto a Scribe v2, con un miglioramento in ogni lingua testata. I guadagni sono del 42% in tedesco, 35% in spagnolo e 23% in inglese, e raggiungono il 34% in swahili, 29% in tamil e 28% in thailandese. Per Scribe v3 Live, ElevenLabs annuncia una riduzione del 43% del tasso di errore semantico, che conta un errore solo quando cambia il significato, e del 31% del WER rispetto a Scribe v2 Realtime. Il greco progredisce del 77%, il danese del 54% e il croato del 45%.
In ElevenAgents, l’esempio di Eneco
Eneco, che fornisce energia a oltre 2 milioni di famiglie e aziende nei Paesi Bassi, fa funzionare il suo agente vocale su ElevenAgents e ha testato Scribe v3 Live prima del lancio. Durante chiamate reali, l’agente ha riconosciuto i codici postali olandesi al primo tentativo il 40% più spesso, e i numeri civici il 15% più spesso. Ruud Huigsloot, Senior Product Manager di Eneco, ha dichiarato: « ElevenLabs è un vero partner per Eneco. Con i loro ingegneri dispiegati in loco, lavoriamo per migliorare ulteriormente il nostro agente vocale. »
Scribe v3 e Scribe v3 Live funzionano per impostazione predefinita negli Stati Uniti e sono offerti in ambienti isolati nell’Unione Europea, in India e a Singapore, per le aziende soggette a requisiti di residenza dei dati. La modalità Zero Retention elimina l’audio e il testo alla fine di una richiesta. Entrambi i modelli sono coperti dai programmi SOC 2, ISO 27001 e PCI DSS Level 1, e sono idonei per HIPAA. Le integrazioni esistenti passano a Scribe v3 sostituendo l’identificatore del modello con scribe_v3 o scribe_v3_live. Una versione di Scribe v3 Live ottimizzata per le conversazioni mediche è anche offerta in ElevenAgents.
