Phonon، نموذج صغير لتركيب الصوت (TTS، أي text-to-speech)، تم إتاحته للجمهور للتو. يعمل مباشرة على جهاز المستخدم، دون خادم أو اتصال بالشبكة، وتبقى النصوص المدخلة على الجهاز.
صوت يعيش على الجهاز
تعمل معظم أنظمة الذكاء الاصطناعي الصوتية في السحابة، حيث يتم إرسال كل جملة ذهابًا وإيابًا إلى خادم. أما Phonon فيعمل محليًا، ويبقى الصوت متاحًا بدون شبكة. كما تم نشر أوزان النموذج. Phonon 31m مرخص برخصة Apache 2.0، مما يسمح باستخدامه مجانًا، بما في ذلك في منتج تجاري. النماذج الأخرى مرخصة برخصة CC BY-NC، مجانية للمشاريع غير التجارية. للاستخدام التجاري لهذه النماذج، تعتمد التسعيرة على عدد المستخدمين وليس على حجم الكلام المُنتج.
تشغيل صوت عالي الجودة على جهاز صغير كان صعبًا لفترة طويلة: النموذج المصغر كان يبدو أقل جودة، في حين أن النموذج الأكثر أداءً لم يكن يتسع على الجهاز. Phonon يلبي كلا الشرطين معًا. أعلن عنه في أبريل، ثم تم تطوير المشروع لمدة ستة أشهر مع شركاء ومستخدمين أوليين، حيث وجهت ملاحظاتهم هذه النسخة. تم تقليص النماذج، أضيفت المزيد من اللغات، وتم دمج دعم الأصوات المخصصة، سواء بالاستنساخ أو الإنشاء.
يعتمد Phonon على سلسلة Pocket TTS ويستخدم flow matching، وهي تقنية توليد صوت مختلفة تمامًا عن تلك المستخدمة في أنظمة TTS الأخرى. سمحت هذه التقنية بتحقيق هذا المستوى من الجودة على نموذج صغير جدًا، لكنها سببت صعوبات في التدريب: حيث كان التدريب في البداية غير مستقر رقميًا واحتاج إلى عدة حيل لإنتاج نتائج عالية الجودة في خمس لغات.
حجمان، خمس لغات وعروض توضيحية
يتوفر Phonon بحجمين، حوالي 65 ميغابايت و75 ميغابايت. معًا، تدعم النسختان الإنجليزية والفرنسية والألمانية والإسبانية والبرتغالية. أكثر من 100 صوت مدمج، ومن الممكن إنشاء أصوات خاصة في Gradium Studio. النموذج يتعامل أيضًا مع أرقام الهواتف والتواريخ والرموز، وهي عناصر يصعب على العديد من أنظمة TTS قراءتها بشكل صحيح. يعمل على الهواتف، الحواسيب المحمولة، بطاقات أحادية اللوحة وفي تبويب المتصفح.
رافق الإطلاق عروض توضيحية نفذها مقربون من الفريق وأعضاء الفريق أنفسهم. على ساعة Apple بدون واي فاي، يرشد Phonon خطوة بخطوة لتحضير القهوة. على iPhone بدون شبكة، يعد التكرارات في تمرين. روبوت اسمه Lamp من شركة Autonomous يرتدي قبعة اختيار ويتحدث بشخصيته. في المتصفح، لعبة الديناصور بدون اتصال تتحول إلى برنامج إذاعي يقدمه Rex، ويُقرأ بروست بصوت عالٍ صفحة تلو الأخرى.
بدأ المطورون أيضًا في البناء على Phonon. تحويل ExecuTorch يسمح بتشغيله على GPU زائر في المتصفح، منصة Micdrop تدمجه في تطبيقات Node.js، ومساحات مثل smallest-s2s تعتمد عليه. تم تحميل النموذج أكثر من 200,000 مرة خلال أول أسبوعين.
النتائج في تصنيف Open TTS
Open TTS Leaderboard، مشروع حديث جدًا من Hugging Face، يسمح بمقارنة نماذج TTS المفتوحة، حيث يُدرج أكثر من 9,000 نموذج في Hugging Face Hub. تُقيّم النماذج في 23 لغة بناءً على وضوح الصوت، السرعة وطبيعية الصوت. وفقًا لهذا التصنيف، يحتل Phonon المركز الأول في الوضوح بالألمانية والإسبانية، وفي المراتب الثلاثة الأولى في جميع اللغات المقيمة، إلى جانب نماذج أكبر حتى 100 مرة. يتميز بشكل خاص في السرعة، حيث يتصدر معيار البث على CPU من حيث التأخير قبل أول إخراج صوتي.
لتشغيل Phonon على عدد كبير من الأجهزة، طور الفريق ptts، إطار استدلال متوافق مع أكثر من 10 خلفيات، منها CPU وGPU وNPU. كما يتوفر Phonon في 🤗 Transformers ابتداءً من الإصدار 5.21، كتنفيذ مرجعي لـ PyTorch. Phonon هو أول إصدار مفتوح من هذا الفريق.
