Zyphra a publié ZONOS3-Mini, un modèle open source de synthèse vocale (TTS, qui transforme un texte en voix) conçu pour fonctionner en temps réel sur des appareils locaux. Doté de 800M paramètres au total, dont environ 100M actifs, il est distribué avec des poids sous licence Apache 2.0.
- Zyphra publie ZONOS3-Mini, un modèle open source de synthèse vocale sous licence Apache 2.0.
- Le modèle utilise une architecture Mixture of Experts et un nouveau codec, le ZAC-1, qui fonctionne à 15 Hz.
- Il permet de régler l’identité vocale et la diction mot par mot, mais ses scores sont auto-déclarés.
- Il fonctionne dans le navigateur, sur Apple Silicon, sur CPU ou GPU, et existe aussi via une API hébergée.
Le modèle est une architecture dite « Mixture of Experts » (MoE) : il regroupe plusieurs sous-réseaux spécialisés, dits experts, et n’en active que quelques-uns pour chaque token, c’est-à-dire chaque fragment de texte traité. Selon Zyphra, il comporte 64 experts avec un routage top-2, soit deux experts activés par token. Il dispose d’une fenêtre de contexte de 32 768 positions et peut générer jusqu’à 10 minutes d’audio en une seule fois. L’entreprise indique l’avoir entraîné sur 112 NVIDIA H100 pendant 2,5 jours.
ZONOS3-Mini succède à ZONOS2, qui utilisait 8B paramètres et un codec à 86 Hz. Le nouveau modèle a été remanié sur trois points. Zyphra a d’abord entraîné son propre codec, le Zyphra Audio Codec 1 (ZAC-1), qui remplace le Descript Audio Codec et fonctionne à 15 Hz. L’entreprise annonce une réduction par dix du taux d’erreur de mots par rapport à un modèle entraîné avec le DAC, dans des conditions de données similaires. Le modèle s’appuie aussi sur un nouvel encodeur de locuteur, MECT-B2, qui accepte un extrait de référence brut d’une durée maximale de 60 secondes ou un unique vecteur de 192 dimensions.
Contrôle de la voix mot par mot
Le modèle permet de contrôler l’identité vocale, avec l’âge, le genre, l’accent et la texture, ainsi que la manière de dire le texte, avec le rythme, l’émotion, la projection et la vivacité. Les réglages de diction peuvent s’appliquer à des mots précis pendant la génération en continu. Une fonction d’édition distincte, inspirée d’une méthode nommée VoiceCraft, permet de modifier des phrases après la génération.
Pour évaluer le modèle, Zyphra a utilisé son benchmark ZTTS2-Eval, qui couvre 35 langues de parole lue et 20 langues d’enregistrements en conditions réelles. Sur l’indice de capacités, ZONOS3-Mini obtient 66,2 en mode embedding de locuteur, devant Fish Audio S2 Pro (61,7) et MOSS-TTS v1.5 (60,2). Sur le jeu de données propre, il affiche un taux d’erreur de mots de 7,79 et une similarité de locuteur de 83,4. Ces résultats sont auto-déclarés : Zyphra a conçu et exécuté le benchmark lui-même. En mode extrait de référence, le score tombe à 44,7, et le score de qualité MSR-UTMOS, de 3,07, reste inférieur à ceux de Fish S2 Pro (3,16) et de Qwen3-TTS 1.7B (3,54).
Un déploiement sur plusieurs supports
Selon le dépôt GitHub du projet, le modèle peut être utilisé de quatre manières. Un terrain de jeu WebGPU fonctionne directement dans le navigateur, sans installation. Sur serveurs NVIDIA, SGLang-Omni propose un point d’accès compatible OpenAI avec streaming. Une version native existe pour Apple Silicon avec MLX, et une autre en C++ avec ggml pour CPU, CUDA, Metal ou Vulkan. Enfin, Zyphra Cloud propose une API hébergée sur des NVIDIA H200.
Les latences annoncées varient selon le matériel. Zyphra indique un délai médian de 80 ms avant le premier audio sur une H100, avec 8 requêtes simultanées, et un débit maximal de 457 secondes d’audio par seconde. Dans le navigateur, le délai reste inférieur à 570 ms sur un Pixel 9 et inférieur à 150 ms sur un MacBook Air M3. L’entreprise précise que ces chiffres proviennent de GPU différents et ne sont pas directement comparables.
