Edge0 hat Audio8-TTS-Realistic veröffentlicht, ein Open-Weight-Sprachsynthesemodell, das eine Stimme aus einer einzigen Referenzaufnahme und deren Transkription klonen kann. Ausgestattet mit 601 Millionen Parametern für das Hauptmodell, unterstützt es 23 Sprachen, zwölf mehr als sein Vorgänger. Die Gewichte und der Code werden unter der Apache-2.0-Lizenz bereitgestellt.
- Edge0 veröffentlicht Audio8-TTS-Realistic, ein Open-Weight-Modell mit 601 Millionen Parametern.
- Das Modell klont Stimmen aus einer einzigen Referenzaufnahme und unterstützt 23 Sprachen.
- Es nutzt eine DualAR-Architektur und wird mit GRPO-Reinforcement-Learning verfeinert, das Realismus bewerten soll.
- Laut Edge0 schlägt es mehrere Konkurrenten, doch größere Modelle liegen bei einigen Tests weiterhin vorn.
Das Modell baut auf Audio8-TTS-Preview-0.6b auf und behält die gleiche Transformers-Inferenzschnittstelle bei. Das Repository umfasst den Checkpoint, einen neuronalen Audiocodec mit 44,1 kHz, den Tokenizer und spezifischen Code. Es kann auch Sprache ohne Referenzstimme erzeugen. Die neuen Sprachen sind Arabisch, Finnisch, Hindi, Indonesisch, Malaiisch, Norwegisch, Portugiesisch, Russisch, Schwedisch, Thailändisch, Türkisch und Vietnamesisch.
Eine Architektur mit zwei Zweigen
Das Modell basiert auf einer sogenannten Dual-Autoregressive (DualAR)-Architektur, inspiriert von Fish Audio S2 Pro. Laut dem von Edge0 veröffentlichten technischen Bericht ist der langsame Zweig auf Qwen2.5 0.5B aufgebaut. Er hat 24 Schichten mit einer Breite von 896 und arbeitet mit etwa 21,5 Frames pro Sekunde. Bei jedem Schritt sagt er die Text-Tokens sowie das erste Audio-Codebook voraus, also das erste der Codebücher, die den Klang repräsentieren.
Ein schneller Zweig mit 4 Schichten sagt dann die verbleibenden 9 Codebücher parallel voraus. Die sequenzielle Berechnung erfolgt somit nur auf der Ebene jedes Audioframes. Der Codec, der die Wellenform bei 44,1 kHz rekonstruiert, ist von der Zählung der 0,6 Milliarden Parameter ausgenommen.
Für das Training schätzt Edge0, dass die Wortfehlerrate (WER) und die Sprecherähnlichkeit (SIM) Rhythmus, Pausen und Timing nicht erfassen. Ein Modell kann bei diesen beiden Kriterien gute Werte erzielen und dennoch künstlich klingen. Das Training erfolgt in drei Schritten: ein überwachtes mehrsprachiges Fine-Tuning, gefolgt von zwei Phasen von GRPO, einer Reinforcement-Learning-Methode. Die letzte Phase stützt sich auf einen « Realismus-Kritiker », der auf Basis von sechs Open-Source-Sprachsynthesesystemen trainiert wurde, die in einem Blindtest bewertet wurden.
Edge0 gibt an, dass diese letzte Phase nur Prompts auf Chinesisch und Englisch verwendete, während sich beide Metriken für die 13 weniger gut abgedeckten Sprachen verbesserten. Die Fehlerrate sank dort von 22,53 % auf 20,77 % und die SIM stieg von 0,637 auf 0,679.
Vom Herausgeber angekündigte Leistungswerte
Diese Zahlen werden von Edge0 selbst angegeben, das darauf hinweist, dass die Evaluierungspipelines und die Textnormalisierung von Modell zu Modell unterschiedlich sind. Auf dem CV3-Benchmark, der 9 Sprachen abdeckt, zeigt Audio8-TTS-Realistic eine durchschnittliche Fehlerrate von 4,86 %, vor VoxCPM2 (5,35 %), CosyVoice3-1.5B (6,89 %) und Qwen3-TTS-1.7B (7,73 %). Auf Seed-TTS in Englisch und Chinesisch beträgt die durchschnittliche Fehlerrate 1,25 %. Auf MiniMax, das 24 Sprachen abdeckt, erreicht sie 5,89 %, während Qwen3-TTS-1.7B 27,41 % erzielt, ein Modell, das offiziell nur 10 dieser Sprachen unterstützt.
Größere Modelle liegen bei einigen Tests weiterhin vorn. Higgs TTS 3 gibt 4,41 % auf CV3 und 2,74 % auf MiniMax an. Die weniger gut abgedeckten Sprachen bleiben anfällig: Die Fehlerrate erreicht auf CV3 48,57 % für Thailändisch und auf MiniMax 31,35 % für Kantonesisch.
Für den Einsatz empfiehlt Edge0 eine CUDA-GPU, wobei Tests auf einer NVIDIA H20 in BF16 durchgeführt wurden. Der Bericht erwähnt einen Spitzenspeicherverbrauch von 1,1 bis 1,2 GiB auf einem Apple M2 Prozessor in der INT4-ONNX-Version, aber ein ONNX-Export der Realistic-Version ist noch nicht öffentlich verfügbar. Ein kostenloser Playground, der auf Hugging Face ZeroGPU läuft, ermöglicht das Testen des Modells.
