Edge0 a publié Audio8-TTS-Realistic, un modèle de synthèse vocale à poids ouverts capable de cloner une voix à partir d’un seul enregistrement de référence et de sa transcription. Doté de 601 millions de paramètres pour le modèle principal, il prend en charge 23 langues, soit 12 de plus que son prédécesseur. Les poids et le code sont distribués sous licence Apache 2.0.
- Edge0 publie Audio8-TTS-Realistic, un modèle de clonage vocal à poids ouverts.
- Le modèle clone une voix à partir d’un seul enregistrement et prend en charge 23 langues.
- Il repose sur une architecture à deux branches et s’entraîne par apprentissage par renforcement.
- Ses scores, auto-déclarés par l’éditeur, dépassent plusieurs concurrents, mais restent fragiles pour les langues peu dotées.
Le modèle s’appuie sur Audio8-TTS-Preview-0.6b et conserve la même interface d’inférence Transformers. Le dépôt regroupe le point de contrôle, un codec audio neuronal à 44,1 kHz, le tokenizer et du code spécifique. Il peut aussi générer de la parole sans voix de référence. Les nouvelles langues sont l’arabe, le finnois, l’hindi, l’indonésien, le malais, le norvégien, le portugais, le russe, le suédois, le thaï, le turc et le vietnamien.
Une architecture en deux branches
Le modèle repose sur une architecture dite à double autorégression (DualAR), inspirée de Fish Audio S2 Pro. Selon le rapport technique publié par Edge0, la branche lente est construite sur Qwen2.5 0.5B. Elle compte 24 couches de largeur 896 et fonctionne à environ 21,5 images par seconde. À chaque étape, elle prédit les tokens de texte ainsi que le premier codebook audio, c’est-à-dire le premier des dictionnaires de codes qui représentent le son.
Une branche rapide de 4 couches prédit ensuite les 9 codebooks restants en parallèle. Le calcul séquentiel n’intervient ainsi qu’au niveau de chaque image audio. Le codec, qui reconstruit la forme d’onde à 44,1 kHz, est exclu du décompte des 0,6 milliard de paramètres.
Pour l’entraînement, Edge0 estime que le taux d’erreur sur les mots (WER) et la similarité du locuteur (SIM) ne rendent pas compte du rythme, des pauses et du timing. Un modèle peut obtenir de bons scores sur ces deux critères et sonner malgré tout artificiel. L’entraînement se déroule en trois étapes : un fine-tuning supervisé multilingue, puis deux phases de GRPO, une méthode d’apprentissage par renforcement. La dernière phase s’appuie sur un « critique de réalisme » entraîné à partir de six systèmes de synthèse vocale open source, classés lors d’une écoute à l’aveugle.
Edge0 indique que cette dernière étape n’a utilisé que des prompts en chinois et en anglais, tout en améliorant les deux métriques sur les 13 langues moins bien dotées. Le taux d’erreur y passe de 22,53 % à 20,77 %, et la SIM de 0,637 à 0,679.
Des performances annoncées par l’éditeur
Ces chiffres sont auto-déclarés par Edge0, qui précise que les pipelines d’évaluation et la normalisation du texte diffèrent d’un modèle à l’autre. Sur le benchmark CV3, couvrant 9 langues, Audio8-TTS-Realistic affiche un taux d’erreur moyen de 4,86 %, devant VoxCPM2 (5,35 %), CosyVoice3-1.5B (6,89 %) et Qwen3-TTS-1.7B (7,73 %). Sur Seed-TTS en anglais et en chinois, l’erreur moyenne est de 1,25 %. Sur MiniMax, qui couvre 24 langues, elle atteint 5,89 %, alors que Qwen3-TTS-1.7B obtient 27,41 %, un modèle qui ne prend officiellement en charge que 10 de ces langues.
Des modèles plus grands restent en tête sur certains tests. Higgs TTS 3 annonce 4,41 % sur CV3 et 2,74 % sur MiniMax. Les langues les moins bien couvertes restent fragiles : le taux d’erreur atteint 48,57 % en thaï sur CV3, et 31,35 % en cantonais sur MiniMax.
Pour le déploiement, Edge0 recommande un GPU CUDA, avec des tests réalisés sur un NVIDIA H20 en BF16. Le rapport mentionne une mémoire de pointe de 1,1 à 1,2 GiB sur un processeur Apple M2, en version INT4 ONNX, mais aucun export ONNX de la version Realistic n’est encore public. Un Playground gratuit, fonctionnant sur Hugging Face ZeroGPU, permet de tester le modèle.
