Edge0 opublikował Audio8-TTS-Realistic, model syntezy mowy o otwartych wagach, zdolny do sklonowania głosu na podstawie pojedynczego nagrania referencyjnego i jego transkrypcji. Wyposażony w 601 milion parametrów dla modelu głównego, obsługuje 23 języki, czyli o 12 więcej niż jego poprzednik. Wagi i kod są dystrybuowane na licencji Apache 2.0.
Model bazuje na Audio8-TTS-Preview-0.6b i zachowuje ten sam interfejs inferencji Transformers. Repozytorium zawiera punkt kontrolny, neuronowy kodek audio 44,1 kHz, tokenizer oraz kod specyficzny. Potrafi również generować mowę bez głosu referencyjnego. Nowymi językami są arabski, fiński, hindi, indonezyjski, malajski, norweski, portugalski, rosyjski, szwedzki, tajski, turecki i wietnamski.
Architektura dwugałęziowa
Model opiera się na architekturze zwanej podwójną autoregresją (DualAR), inspirowanej przez Fish Audio S2 Pro. Według raportu technicznego opublikowanego przez Edge0, gałąź wolna jest zbudowana na Qwen2.5 0.5B. Liczy 24 warstwy o szerokości 896 i działa z prędkością około 21,5 klatek na sekundę. Na każdym etapie przewiduje tokeny tekstowe oraz pierwszy codebook audio, czyli pierwszy ze słowników kodów reprezentujących dźwięk.
Szybka gałąź o 4 warstwach przewiduje następnie pozostałe 9 codebooków równolegle. Obliczenia sekwencyjne występują zatem tylko na poziomie każdej klatki audio. Kodek, który odtwarza przebieg fali 44,1 kHz, jest wyłączony z liczenia 0,6 miliarda parametrów.
W kwestii treningu, Edge0 uważa, że współczynnik błędu na słowach (WER) i podobieństwo mówcy (SIM) nie oddają rytmu, pauz i czasu. Model może uzyskać dobre wyniki w tych dwóch kryteriach, a mimo to brzmieć sztucznie. Trening przebiega w trzech etapach: wielojęzyczne dostrajanie nadzorowane, a następnie dwie fazy GRPO, metody uczenia przez wzmocnienie. Ostatnia faza opiera się na « krytyku realizmu » wytrenowanym na sześciu otwartych systemach syntezy mowy, ocenianych w ślepej próbie słuchowej.
Edge0 wskazuje, że ten ostatni etap wykorzystywał jedynie prompty w języku chińskim i angielskim, jednocześnie poprawiając obie metryki dla 13 języków gorzej reprezentowanych. Współczynnik błędu spada tam z 22,53% do 20,77%, a SIM wzrasta z 0,637 do 0,679.
Wydajność ogłoszona przez wydawcę
Te liczby są samodzielnie zgłoszone przez Edge0, który precyzuje, że potoki ewaluacji i normalizacja tekstu różnią się między modelami. Na benchmarku CV3, obejmującym 9 języków, Audio8-TTS-Realistic wykazuje średni współczynnik błędu 4,86%, wyprzedzając VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) i Qwen3-TTS-1.7B (7,73%). Na Seed-TTS w języku angielskim i chińskim średni błąd wynosi 1,25%. Na MiniMax, który obejmuje 24 języki, sięga 5,89%, podczas gdy Qwen3-TTS-1.7B osiąga 27,41%, mimo że oficjalnie obsługuje tylko 10 z tych języków.
Większe modele wciąż prowadzą w niektórych testach. Higgs TTS 3 ogłasza 4,41% na CV3 i 2,74% na MiniMax. Języki najsłabiej pokryte pozostają wrażliwe: współczynnik błędu sięga 48,57% dla tajskiego na CV3 i 31,35% dla kantońskiego na MiniMax.
Do wdrożenia Edge0 zaleca GPU CUDA, z testami przeprowadzonymi na NVIDIA H20 w BF16. Raport wspomina o szczytowym zużyciu pamięci 1,1-1,2 GiB na procesorze Apple M2, w wersji INT4 ONNX, ale żaden eksport ONNX wersji Realistic nie jest jeszcze publicznie dostępny. Bezpłatny Playground, działający na Hugging Face ZeroGPU, pozwala przetestować model.
