Edge0は、単一の参照録音とその書き起こしから音声をクローン可能なオープンウェイト音声合成モデルAudio8-TTS-Realisticを公開した。メインモデルに6億100万パラメータを備え、23言語をサポートしており、前身モデルより12言語多い。ウェイトとコードはApache 2.0ライセンスで配布される。
このモデルはAudio8-TTS-Preview-0.6bを基盤とし、同じTransformers推論インターフェースを維持している。リポジトリにはチェックポイント、44.1kHzニューラルオーディオコーデック、トークナイザー、および専用コードが含まれる。参照音声なしでの音声生成も可能。新たに追加された言語は、アラビア語、フィンランド語、ヒンディー語、インドネシア語、マレー語、ノルウェー語、ポルトガル語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語である。
二重分岐アーキテクチャ
モデルは、Fish Audio S2 Proに着想を得た二重回帰（DualAR）と呼ばれるアーキテクチャに基づいている。Edge0が公開した技術レポートによると、低速分岐はQwen2.5 0.5B上に構築されている。これは24層、幅896で、約21.5フレーム/秒で動作する。各ステップで、テキストトークンと最初のオーディオコードブック、つまり音を表現するコード辞書の最初のものを予測する。
続いて、4層の高速分岐が残り9つのコードブックを並列に予測する。これにより、逐次計算は各オーディオフレームレベルでのみ発生する。44.1kHzの波形を再構築するコーデックは、6億パラメータのカウントからは除外されている。
学習に関して、Edge0は単語誤り率（WER）と話者類似度（SIM）ではリズム、ポーズ、タイミングが捉えられないと評価している。これらの二つの指標で高スコアを得ていても、不自然に聞こえるモデルがあり得る。学習は三段階で行われる：多言語教師ありファインチューニング、その後、強化学習手法であるGRPOの二段階。最終段階は、ブラインドリスニングテストで評価された6つのオープンソース音声合成システムから学習した「リアリズム批評家」を利用する。
Edge0は、この最終段階では中国語と英語のプロンプトのみを使用したが、リソースの少ない13言語の両方の指標を改善したと述べている。誤り率は22.53%から20.77%に、SIMは0.637から0.679に向上した。
開発者による公表性能
これらの数値はEdge0による自己申告であり、評価パイプラインとテキスト正規化はモデルごとに異なる点を注記している。9言語をカバーするCV3ベンチマークでは、Audio8-TTS-Realisticは平均誤り率4.86%を示し、VoxCPM2（5.35%）、CosyVoice3-1.5B（6.89%）、Qwen3-TTS-1.7B（7.73%）を上回った。英語と中国語のSeed-TTSでは平均誤り率は1.25%。24言語をカバーするMiniMaxでは5.89%に達し、一方、公式にはこれらの言語のうち10言語のみをサポートするQwen3-TTS-1.7Bは27.41%だった。
より大規模なモデルが一部のテストで依然として首位を維持している。Higgs TTS 3はCV3で4.41%、MiniMaxで2.74%を公表している。カバレッジの低い言語は依然として脆弱で、CV3でのタイ語誤り率は48.57%、MiniMaxでの広東語誤り率は31.35%に達する。
デプロイメントに関して、Edge0はCUDA GPUを推奨しており、テストはNVIDIA H20上でBF16形式で実施された。レポートでは、INT4 ONNX版でのApple M2プロセッサ上でのピークメモリ使用量が1.1〜1.2 GiBとされているが、Realistic版のONNXエクスポートはまだ公開されていない。Hugging Face ZeroGPU上で動作する無料のPlaygroundでモデルを試すことができる。
