أطلقت Edge0 النموذج Audio8-TTS-Realistic، وهو نموذج توليف صوتي مفتوح الأوزان قادر على استنساخ صوت من تسجيل مرجعي واحد ونصه. ويضم النموذج الرئيسي 601 مليون معامل، ويدعم 23 لغة، أي 12 لغة أكثر من سابقه. وتوزع الأوزان والكود بموجب ترخيص Apache 2.0.
يعتمد النموذج على Audio8-TTS-Preview-0.6b ويحتفظ بنفس واجهة الاستدلال Transformers. يحتوي المستودع على نقطة التحقق، ومرمز صوتي عصري بتردد 44.1 كيلوهرتز، ومجزئ الرموز، وكود مخصص. ويمكنه أيضًا توليد كلام دون صوت مرجعي. اللغات الجديدة هي العربية، والفنلندية، والهندية، والإندونيسية، والماليزية، والنرويجية، والبرتغالية، والروسية، والسويدية، والتايلاندية، والتركية، والفيتنامية.
هندسة ذات فرعين
يعتمد النموذج على هندسة تسمى « الانحدار الذاتي المزدوج » (DualAR)، مستوحاة من Fish Audio S2 Pro. وفقًا للتقرير الفني الذي نشرته Edge0، فإن الفرع البطيء مبني على Qwen2.5 0.5B. ويحتوي على 24 طبقة بعرض 896 ويعمل بحوالي 21.5 إطارًا في الثانية. في كل خطوة، يتنبأ برموز النص بالإضافة إلى أول قاموس رمزي صوتي، أي أولى القواميس الرمزية التي تمثل الصوت.
ثم يتنبأ فرع سري مكون من 4 طبقات بالـ 9 قواميس الرمزية المتبقية بالتوازي. وبالتالي، يحدث الحساب التسلسلي فقط على مستوى كل إطار صوتي. المرمز، الذي يعيد بناء شكل الموجة عند 44.1 كيلوهرتز، مستبعد من حساب الـ 0.6 مليار معامل.
أما بالنسبة للتدريب، فتعتقد Edge0 أن معدل الخطأ في الكلمات (WER) وتشابه المتحدث (SIM) لا يعكسان الإيقاع، والوقفات، والتوقيت الزمني. يمكن لنموذج أن يحقق درجات جيدة في هذين المعيارين ويبدو مع ذلك اصطناعيًا. يتم التدريب في ثلاث مراحل: ضبط دقيق متعدد اللغات تحت الإشراف، ثم مرحلتين من GRPO، وهي طريقة تعلم معزز. تعتمد المرحلة الأخيرة على « ناقد واقعية » تم تدريبه من ستة أنظمة توليف صوتي مفتوحة المصدر، تم تصنيفها خلال اختبار استماع أعمى.
تشير Edge0 إلى أن هذه المرحلة الأخيرة استخدمت فقط نصوصًا بالصينية والإنجليزية، مع تحسين كلا المقياسين في اللغات الـ 13 الأقل تمثيلًا. ينخفض معدل الخطأ فيها من 22.53% إلى 20.77%، ويرتفع تشابه المتحدث من 0.637 إلى 0.679.
أداء مُعلن من قبل الناشر
هذه الأرقام معلنة ذاتيًا من قبل Edge0، التي توضح أن خطوط تقييم الأداء وتوحيد النص تختلف من نموذج لآخر. على معيار CV3، الذي يغطي 9 لغات، يسجل Audio8-TTS-Realistic معدل خطأ متوسطًا قدره 4.86%، متقدمًا على VoxCPM2 (5.35%)، وCosyVoice3-1.5B (6.89%)، وQwen3-TTS-1.7B (7.73%). على Seed-TTS بالإنجليزية والصينية، يبلغ متوسط الخطأ 1.25%. على MiniMax، الذي يغطي 24 لغة، يصل إلى 5.89%، بينما يحقق Qwen3-TTS-1.7B 27.41%، وهو نموذج لا يدعم رسميًا سوى 10 من هذه اللغات.
لا تزال النماذج الأكبر حجمًا في الصدارة في بعض الاختبارات. يعلن Higgs TTS 3 عن 4.41% على CV3 و2.74% على MiniMax. اللغات الأقل تغطية تبقى هشة: يصل معدل الخطأ إلى 48.57% في التايلاندية على CV3، و31.35% في الكانتونية على MiniMax.
للتشغيل، توصي Edge0 باستخدام وحدة معالجة رسومية CUDA، مع اختبارات أجريت على NVIDIA H20 بتنسيق BF16. يذكر التقرير ذروة استخدام للذاكرة تتراوح بين 1.1 و1.2 جيجابايت على معالج Apple M2، بنسخة INT4 ONNX، لكن لم يتم نشر أي تصدير ONNX لنسخة Realistic بعد. توجد منصة تجريبية مجانية، تعمل على Hugging Face ZeroGPU، تتيح اختبار النموذج.
