La síntesis de voz, o text to speech (TTS), transforma un texto escrito en audio hablado. Según el artículo de ElevenLabs, el sistema analiza primero el texto para determinar cómo debe pronunciarse cada elemento, y luego un modelo de inteligencia artificial genera el sonido.
- La síntesis de voz transforma un texto escrito en audio hablado en dos fases.
- Las redes neuronales profundas generan una voz más natural y humana.
- Se usa en narración, doblaje, accesibilidad y agentes de atención al cliente.
- Los diccionarios de pronunciación corrigen errores en nombres propios y jerga.
Cómo funciona la síntesis de voz
El proceso se desarrolla en dos grandes fases. La primera, denominada frontend, limpia el texto, lo divide en tokens (unidades de lenguaje, que pueden ser una palabra, parte de una palabra o un signo de puntuación) y lo convierte en representaciones matemáticas, llamadas vectores, que el sistema puede manipular. La segunda, denominada backend, transforma estos datos en formas de onda que modelan el habla.
El motor también debe interpretar los símbolos. Así, lee « $11 » como « eleven dollars ». Además, debe gestionar la prosodia, es decir, el tono y el ritmo de la voz, que dan al habla su carácter natural. Para ello se basa en el contexto, especialmente para los homógrafos, palabras que se escriben igual pero no siempre se pronuncian de la misma manera.
El artículo sigue una frase, « Mr. Ríos paid $11 on 10/06. », a través del proceso. El motor desarrolla « Mr. » en « Mister », lee « $11 » como « eleven dollars » y decide si « 10/06 » significa « October sixth » o « the tenth of June », según el idioma y el contexto. Luego coloca el acento en « eleven dollars », añade una breve pausa antes de la fecha y hace descender el tono de la voz al final de la frase. El modelo acústico produce entonces un mel-espectrograma, una representación de las frecuencias y la energía del sonido en el tiempo, que el vocoder convierte en onda de audio. Un error en una etapa anterior, como una fecha mal leída, se refleja por tanto en el sonido final.
Por qué la voz neuronal parece más humana
Los motores neuronales, los más recientes, utilizan una red neuronal profunda, entrenada con grandes volúmenes de grabaciones de voz asociadas a su texto. Destacan en producir un habla natural e inteligible, dos criterios que los ingenieros utilizan para evaluar estos motores.
Suceden a dos generaciones de tecnologías. La síntesis formántica, dominante en los años 1970 y 1980, generaba sonidos modelados a partir de reglas matemáticas. Era inteligible, pero monótona y robótica. La síntesis por concatenación, empleada desde los años 1990 hasta los 2010, ensamblaba pequeños fragmentos de voz humana extraídos de un vasto corpus. Más natural, podía sin embargo parecer entrecortada.
El artículo distingue además la síntesis de voz de los « generadores de voz IA », un término empleado en marketing para designar un conjunto más amplio de tecnologías, que incluye el diseño de voz, la clonación vocal y la transferencia de estilo vocal. La síntesis de voz constituye una parte de ello.
Usos y control de la pronunciación
La síntesis de voz se utiliza para la narración, las voces en off, el doblaje, los audiolibros y los diálogos de videojuegos. El artículo cita el caso de TAP, que utilizó ElevenLabs TTS para producir contenidos educativos destinados a escuelas en India. También sirve para la accesibilidad, especialmente con los lectores de pantalla, la ayuda a la lectura para personas disléxicas y el aprendizaje de idiomas. En el soporte al cliente, los agentes vocales combinan reconocimiento de voz, LLM (modelo de lenguaje grande) y herramientas conectadas. Según la fuente, Klarna redujo su tiempo de resolución por 10x gracias a ElevenAgents.
Para corregir los errores de pronunciación, especialmente en nombres propios o jerga, la ElevenAPI ofrece diccionarios de pronunciación en formato PLS, que asocian grafías a fonemas, así como etiquetas fonéticas en notación API (alfabeto fonético internacional) directamente en el texto. Los desarrolladores pueden además conectar su aplicación mediante una API, enviando un texto, un identificador de voz y un identificador de modelo. Según el artículo, la latencia puede reducirse a unos 100 ms antes del primer sonido para los agentes conversacionales.
