A Edge0 publicou Audio8-TTS-Realistic, um modelo de síntese de voz de pesos abertos capaz de clonar uma voz a partir de uma única gravação de referência e da sua transcrição. Dotado de 601 milhões de parâmetros para o modelo principal, suporta 23 idiomas, mais 12 do que o seu antecessor. Os pesos e o código são distribuídos sob licença Apache 2.0.
O modelo baseia-se no Audio8-TTS-Preview-0.6b e mantém a mesma interface de inferência Transformers. O repositório agrupa o ponto de verificação, um codec de áudio neuronal a 44,1 kHz, o tokenizer e código específico. Também pode gerar fala sem voz de referência. Os novos idiomas são árabe, finlandês, hindi, indonésio, malaio, norueguês, português, russo, sueco, tailandês, turco e vietnamita.
Uma arquitetura de dois ramos
O modelo assenta numa arquitetura denominada de dupla autorregressão (DualAR), inspirada no Fish Audio S2 Pro. Segundo o relatório técnico publicado pela Edge0, o ramo lento é construído sobre o Qwen2.5 0.5B. Conta com 24 camadas de largura 896 e funciona a aproximadamente 21,5 imagens por segundo. Em cada etapa, prevê os tokens de texto assim como o primeiro codebook de áudio, ou seja, o primeiro dos dicionários de códigos que representam o som.
Um ramo rápido de 4 camadas prevê depois os 9 codebooks restantes em paralelo. O cálculo sequencial intervém assim apenas ao nível de cada imagem de áudio. O codec, que reconstrói a forma de onda a 44,1 kHz, está excluído da contagem dos 0,6 mil milhões de parâmetros.
Para o treino, a Edge0 estima que a taxa de erro nas palavras (WER) e a similaridade do locutor (SIM) não têm em conta o ritmo, as pausas e o timing. Um modelo pode obter boas pontuações nestes dois critérios e soar, apesar disso, artificial. O treino decorre em três etapas: um fine-tuning supervisionado multilingue, seguido de duas fases de GRPO, um método de aprendizagem por reforço. A última fase baseia-se num « crítico de realismo » treinado a partir de seis sistemas de síntese de voz de código aberto, classificados numa audição às cegas.
A Edge0 indica que esta última etapa utilizou apenas prompts em chinês e inglês, melhorando ainda assim as duas métricas nos 13 idiomas menos bem dotados. A taxa de erro passa de 22,53% para 20,77%, e a SIM de 0,637 para 0,679.
Desempenhos anunciados pelo editor
Estes números são auto-declarados pela Edge0, que especifica que os pipelines de avaliação e a normalização do texto diferem de modelo para modelo. No benchmark CV3, que abrange 9 idiomas, o Audio8-TTS-Realistic apresenta uma taxa de erro média de 4,86%, à frente do VoxCPM2 (5,35%), do CosyVoice3-1.5B (6,89%) e do Qwen3-TTS-1.7B (7,73%). No Seed-TTS em inglês e chinês, o erro médio é de 1,25%. No MiniMax, que cobre 24 idiomas, atinge 5,89%, enquanto o Qwen3-TTS-1.7B obtém 27,41%, um modelo que oficialmente suporta apenas 10 desses idiomas.
Modelos maiores mantêm-se à frente em certos testes. O Higgs TTS 3 anuncia 4,41% no CV3 e 2,74% no MiniMax. Os idiomas menos bem cobertos mantêm-se frágeis: a taxa de erro atinge 48,57% em tailandês no CV3, e 31,35% em cantonês no MiniMax.
Para a implementação, a Edge0 recomenda uma GPU CUDA, com testes realizados numa NVIDIA H20 em BF16. O relatório menciona uma memória de pico de 1,1 a 1,2 GiB num processador Apple M2, na versão INT4 ONNX, mas nenhuma exportação ONNX da versão Realistic é ainda pública. Um Playground gratuito, a funcionar no Hugging Face ZeroGPU, permite testar o modelo.
