Edge0 heeft Audio8-TTS-Realistic uitgebracht, een open-weight spraaksynthesemodel dat een stem kan klonen op basis van één referentieopname en de bijbehorende transcriptie. Het hoofdmodel heeft 601 miljoen parameters en ondersteunt 23 talen, twaalf meer dan zijn voorganger. De gewichten en code worden gedistribueerd onder een Apache 2.0-licentie.
Het model bouwt voort op Audio8-TTS-Preview-0.6b en behoudt dezelfde Transformers-inferentie-interface. De repository bevat het checkpoint, een neurale audiocodec op 44,1 kHz, de tokenizer en specifieke code. Het kan ook spraak genereren zonder referentiestem. De nieuwe talen zijn Arabisch, Fins, Hindi, Indonesisch, Maleis, Noors, Portugees, Russisch, Zweeds, Thai, Turks en Vietnamees.
Een architectuur met twee takken
Het model is gebaseerd op een zogenaamde DualAR-architectuur (Dual Autoregression), geïnspireerd op Fish Audio S2 Pro. Volgens het technische rapport van Edge0 is de langzame tak gebouwd op Qwen2.5 0.5B. Deze heeft 24 lagen met een breedte van 896 en werkt op ongeveer 21,5 frames per seconde. Bij elke stap voorspelt het de teksttokens en het eerste audiocodebook, dat wil zeggen de eerste van de codeboeken die het geluid representeren.
Een snelle tak van 4 lagen voorspelt vervolgens de overige 9 codeboeken parallel. De sequentiële berekening vindt dus alleen plaats op het niveau van elk audioframe. De codec, die de golfvorm op 44,1 kHz reconstrueert, is niet meegerekend in de 0,6 miljard parameters.
Voor de training schat Edge0 dat de Word Error Rate (WER) en Speaker Similarity (SIM) geen rekening houden met ritme, pauzes en timing. Een model kan goede scores halen op deze twee criteria en toch kunstmatig klinken. De training verloopt in drie fasen: een meertalige supervised fine-tuning, gevolgd door twee fasen van GRPO, een reinforcement learning-methode. De laatste fase maakt gebruik van een ‘realism critic’ getraind op basis van zes open-source spraaksynthesesystemen, gerangschikt tijdens een blinde luistertest.
Edge0 geeft aan dat deze laatste stap alleen prompts in het Chinees en Engels gebruikte, terwijl het beide metrieken verbeterde voor de 13 minder goed ondersteunde talen. Het foutenpercentage daalde daar van 22,53% naar 20,77%, en de SIM steeg van 0,637 naar 0,679.
Prestaties aangekondigd door de uitgever
Deze cijfers zijn zelfgerapporteerd door Edge0, dat aangeeft dat de evaluatiepipelines en tekstnormalisatie per model verschillen. Op de CV3-benchmark, die 9 talen beslaat, behaalt Audio8-TTS-Realistic een gemiddeld foutenpercentage van 4,86%, voor VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) en Qwen3-TTS-1.7B (7,73%). Op Seed-TTS voor Engels en Chinees is het gemiddelde foutenpercentage 1,25%. Op MiniMax, dat 24 talen beslaat, bereikt het 5,89%, terwijl Qwen3-TTS-1.7B 27,41% haalt, een model dat officieel slechts 10 van deze talen ondersteunt.
Grotere modellen blijven op sommige tests aan de leiding. Higgs TTS 3 meldt 4,41% op CV3 en 2,74% op MiniMax. De minder goed ondersteunde talen blijven kwetsbaar: het foutenpercentage bereikt 48,57% voor Thai op CV3, en 31,35% voor Kantonees op MiniMax.
Voor implementatie raadt Edge0 een CUDA-GPU aan, met tests uitgevoerd op een NVIDIA H20 in BF16. Het rapport vermeldt een piekgeheugengebruik van 1,1 tot 1,2 GiB op een Apple M2-processor, in INT4 ONNX-versie, maar er is nog geen publieke ONNX-export van de Realistic-versie. Een gratis Playground, draaiend op Hugging Face ZeroGPU, stelt gebruikers in staat het model te testen.
