Edge0 ha rilasciato Audio8-TTS-Realistic, un modello di sintesi vocale a pesi aperti capace di clonare una voce a partire da una singola registrazione di riferimento e dalla sua trascrizione. Dotato di 601 milioni di parametri per il modello principale, supporta 23 lingue, ovvero 12 in più rispetto al suo predecessore. I pesi e il codice sono distribuiti con licenza Apache 2.0.
- Edge0 rilascia Audio8-TTS-Realistic, un modello TTS a pesi aperti con licenza Apache 2.0.
- Il modello clona una voce da una sola registrazione e dalla sua trascrizione, in 23 lingue.
- L’addestramento con GRPO punta al realismo del ritmo e delle pause, oltre a WER e SIM.
- Edge0 dichiara risultati migliori dei concorrenti su CV3, ma le cifre sono autodichiarate.
Il modello si basa su Audio8-TTS-Preview-0.6b e mantiene la stessa interfaccia di inferenza Transformers. Il repository raggruppa il checkpoint, un codec audio neurale a 44,1 kHz, il tokenizer e del codice specifico. Può anche generare parlato senza una voce di riferimento. Le nuove lingue sono arabo, finlandese, hindi, indonesiano, malese, norvegese, portoghese, russo, svedese, thailandese, turco e vietnamita.
Un’architettura a due rami
Il modello si basa su un’architettura detta a doppia autoregressione (DualAR), ispirata a Fish Audio S2 Pro. Secondo il rapporto tecnico pubblicato da Edge0, il ramo lento è costruito su Qwen2.5 0.5B. Conta 24 strati di larghezza 896 e opera a circa 21,5 frame al secondo. A ogni passo, predice i token di testo e il primo codebook audio, cioè il primo dei dizionari di codici che rappresentano il suono.
Un ramo veloce di 4 strati predice poi i 9 codebook rimanenti in parallelo. Il calcolo sequenziale interviene così solo a livello di ogni frame audio. Il codec, che ricostruisce la forma d’onda a 44,1 kHz, è escluso dal conteggio dei 0,6 miliardi di parametri.
Per l’addestramento, Edge0 stima che il tasso di errore sulle parole (WER) e la similarità del parlante (SIM) non rendano conto del ritmo, delle pause e della tempistica. Un modello può ottenere buoni punteggi su questi due criteri e suonare comunque artificiale. L’addestramento si svolge in tre fasi: un fine-tuning supervisionato multilingue, poi due fasi di GRPO, un metodo di apprendimento per rinforzo. L’ultima fase si appoggia a un « critico di realismo » addestrato a partire da sei sistemi di sintesi vocale open source, classificati durante un ascolto in cieco.
Edge0 indica che quest’ultima fase ha utilizzato solo prompt in cinese e in inglese, migliorando comunque entrambe le metriche sulle 13 lingue meno dotate. Il tasso di errore passa dal 22,53 % al 20,77 %, e la SIM da 0,637 a 0,679.
Prestazioni dichiarate dall’editore
Queste cifre sono auto-dichiarate da Edge0, che precisa che le pipeline di valutazione e la normalizzazione del testo differiscono da un modello all’altro. Sul benchmark CV3, che copre 9 lingue, Audio8-TTS-Realistic mostra un tasso di errore medio del 4,86 %, davanti a VoxCPM2 (5,35 %), CosyVoice3-1.5B (6,89 %) e Qwen3-TTS-1.7B (7,73 %). Su Seed-TTS in inglese e cinese, l’errore medio è dell’1,25 %. Su MiniMax, che copre 24 lingue, raggiunge il 5,89 %, mentre Qwen3-TTS-1.7B ottiene il 27,41 %, un modello che supporta ufficialmente solo 10 di queste lingue.
Modelli più grandi restano in testa su alcuni test. Higgs TTS 3 annuncia il 4,41 % su CV3 e il 2,74 % su MiniMax. Le lingue meno coperte restano fragili: il tasso di errore raggiunge il 48,57 % in thailandese su CV3, e il 31,35 % in cantonese su MiniMax.
Per il deployment, Edge0 raccomanda una GPU CUDA, con test eseguiti su una NVIDIA H20 in BF16. Il rapporto menziona un picco di memoria di 1,1-1,2 GiB su un processore Apple M2, in versione INT4 ONNX, ma nessun export ONNX della versione Realistic è ancora pubblico. Un Playground gratuito, funzionante su Hugging Face ZeroGPU, permette di testare il modello.
