La sintesi vocale, o text to speech (TTS), trasforma un testo scritto in audio parlato. Secondo l’articolo di ElevenLabs, il sistema analizza prima il testo per determinare come ogni elemento debba essere pronunciato, poi un modello di intelligenza artificiale genera il suono.
- La sintesi vocale trasforma un testo scritto in audio parlato.
- Il sistema analizza il testo, poi un modello di intelligenza artificiale genera il suono.
- Le voci neurali usano reti neurali profonde e risultano più naturali.
- Dizionari di pronuncia e tag IPA correggono gli errori su nomi propri e gergo.
Come funziona la sintesi vocale
Il processo si svolge in due grandi fasi. La prima, detta frontend, pulisce il testo, lo suddivide in tokens (unità di linguaggio, che possono essere una parola, una parte di parola o un segno di punteggiatura) e lo converte in rappresentazioni matematiche, chiamate vettori, che il sistema può manipolare. La seconda, detta backend, trasforma questi dati in forme d’onda che modellano la parola.
Il motore deve anche interpretare i simboli. Legge quindi « $11 » come « eleven dollars ». Deve inoltre gestire la prosodia, cioè l’altezza e il ritmo della voce, che conferiscono alla parola il suo carattere naturale. Si basa per questo sul contesto, in particolare per gli omografi, parole che si scrivono allo stesso modo ma non si pronunciano sempre nella stessa maniera.
L’articolo segue una frase, « Mr. Ríos paid $11 on 10/06. », attraverso il processo. Il motore sviluppa « Mr. » in « Mister », legge « $11 » come « eleven dollars » e decide se « 10/06 » significhi « October sixth » o « the tenth of June », a seconda della lingua e del contesto. Poi pone l’accento su « eleven dollars », aggiunge una breve pausa prima della data e fa scendere l’altezza della voce alla fine della frase. Il modello acustico produce quindi un mel-spettrogramma, una rappresentazione delle frequenze e dell’energia del suono nel tempo, che il vocoder converte in onda audio. Un errore a monte, come una data letta male, si ritrova quindi nel suono finale.
Perché la voce neurale sembra più umana
I motori neurali, i più recenti, utilizzano una rete neurale profonda, addestrata su grandi volumi di registrazioni vocali associate al loro testo. Eccellono nel produrre una parola naturale e intelligibile, due criteri che gli ingegneri usano per valutare questi motori.
Essi succedono a due generazioni di tecnologie. La sintesi formantica, dominante negli anni ’70 e ’80, generava suoni modellati a partire da regole matematiche. Era intelligibile, ma monotona e robotica. La sintesi per concatenazione, impiegata dagli anni ’90 agli anni 2010, assemblava piccoli campioni di voce umana estratti da un vasto corpus. Più naturale, poteva tuttavia sembrare spezzettata.
L’articolo distingue inoltre la sintesi vocale dai « generatori di voce IA », un termine usato nel marketing per designare un insieme più ampio di tecnologie, comprendente il design della voce, il clonaggio vocale e il trasferimento dello stile vocale. La sintesi vocale ne costituisce una parte.
Usi e controllo della pronuncia
La sintesi vocale è utilizzata per la narrazione, le voci fuori campo, il doppiaggio, gli audiolibri e i dialoghi dei videogiochi. L’articolo cita il caso di TAP, che ha usato ElevenLabs TTS per produrre contenuti educativi destinati alle scuole in India. Serve anche all’accessibilità, in particolare con i lettori di schermo, l’aiuto alla lettura per le persone dislessiche e l’apprendimento delle lingue. Nel supporto clienti, agenti vocali combinano riconoscimento vocale, LLM (grande modello linguistico) e strumenti connessi. Secondo la fonte, Klarna ha ridotto il suo tempo di risoluzione di 10 volte grazie a ElevenAgents.
Per correggere gli errori di pronuncia, in particolare su nomi propri o gergo, l’ElevenAPI propone dizionari di pronuncia in formato PLS, che associano grafie a fonemi, così come tag fonetici in notazione IPA (alfabeto fonetico internazionale) direttamente nel testo. Gli sviluppatori possono inoltre connettere la loro applicazione via API, inviando un testo, un identificatore di voce e un identificatore di modello. Secondo l’articolo, la latenza può essere ridotta a circa 100 ms prima del primo suono per gli agenti conversazionali.
