Edge0 ha publicado Audio8-TTS-Realistic, un modelo de síntesis de voz de pesos abiertos capaz de clonar una voz a partir de una sola grabación de referencia y su transcripción. Dotado de 601 millones de parámetros para el modelo principal, es compatible con 23 idiomas, es decir, 12 más que su predecesor. Los pesos y el código se distribuyen bajo licencia Apache 2.0.
- Edge0 publica Audio8-TTS-Realistic, un modelo abierto de síntesis de voz con 601 millones de parámetros.
- El modelo clona una voz con una sola grabación de referencia y admite 23 idiomas.
- Su entrenamiento usa GRPO y un «crítico de realismo» para mejorar el ritmo y la naturalidad.
- Según Edge0, supera a varios modelos en CV3 y MiniMax, aunque los idiomas poco dotados siguen siendo frágiles.
El modelo se basa en Audio8-TTS-Preview-0.6b y conserva la misma interfaz de inferencia Transformers. El repositorio agrupa el punto de control, un códec de audio neuronal a 44,1 kHz, el tokenizador y código específico. También puede generar voz sin una voz de referencia. Los nuevos idiomas son el árabe, el finés, el hindi, el indonesio, el malayo, el noruego, el portugués, el ruso, el sueco, el tailandés, el turco y el vietnamita.
Una arquitectura de dos ramas
El modelo se basa en una arquitectura denominada de doble autorregresión (DualAR), inspirada en Fish Audio S2 Pro. Según el informe técnico publicado por Edge0, la rama lenta está construida sobre Qwen2.5 0.5B. Cuenta con 24 capas de ancho 896 y funciona a aproximadamente 21,5 imágenes por segundo. En cada paso, predice los tokens de texto así como el primer codebook de audio, es decir, el primero de los diccionarios de códigos que representan el sonido.
Una rama rápida de 4 capas predice luego los 9 codebooks restantes en paralelo. El cálculo secuencial interviene así solo a nivel de cada imagen de audio. El códec, que reconstruye la forma de onda a 44,1 kHz, está excluido del cómputo de los 0,6 mil millones de parámetros.
Para el entrenamiento, Edge0 estima que la tasa de error en palabras (WER) y la similitud del locutor (SIM) no reflejan el ritmo, las pausas y la sincronización. Un modelo puede obtener buenas puntuaciones en estos dos criterios y sonar, a pesar de todo, artificial. El entrenamiento se desarrolla en tres etapas: un fine-tuning supervisado multilingüe, luego dos fases de GRPO, un método de aprendizaje por refuerzo. La última fase se apoya en un « crítico de realismo » entrenado a partir de seis sistemas de síntesis de voz de código abierto, clasificados durante una escucha a ciegas.
Edge0 indica que esta última etapa solo utilizó prompts en chino y en inglés, mejorando al mismo tiempo ambas métricas en los 13 idiomas menos dotados. La tasa de error pasa del 22,53 % al 20,77 %, y la SIM de 0,637 a 0,679.
Rendimientos anunciados por el editor
Estas cifras son autodeclaradas por Edge0, que precisa que las canalizaciones de evaluación y la normalización del texto difieren de un modelo a otro. En el benchmark CV3, que cubre 9 idiomas, Audio8-TTS-Realistic muestra una tasa de error media del 4,86 %, por delante de VoxCPM2 (5,35 %), CosyVoice3-1.5B (6,89 %) y Qwen3-TTS-1.7B (7,73 %). En Seed-TTS en inglés y chino, el error medio es del 1,25 %. En MiniMax, que cubre 24 idiomas, alcanza el 5,89 %, mientras que Qwen3-TTS-1.7B obtiene 27,41 %, un modelo que solo admite oficialmente 10 de estos idiomas.
Modelos más grandes siguen a la cabeza en algunas pruebas. Higgs TTS 3 anuncia un 4,41 % en CV3 y un 2,74 % en MiniMax. Los idiomas menos cubiertos siguen siendo frágiles: la tasa de error alcanza el 48,57 % en tailandés en CV3, y el 31,35 % en cantonés en MiniMax.
Para el despliegue, Edge0 recomienda una GPU CUDA, con pruebas realizadas en una NVIDIA H20 en BF16. El informe menciona un pico de memoria de 1,1 a 1,2 GiB en un procesador Apple M2, en versión INT4 ONNX, pero aún no hay ningún exporte ONNX de la versión Realistic disponible públicamente. Un Playground gratuito, que funciona en Hugging Face ZeroGPU, permite probar el modelo.
