أعلنت Liquid AI عن إطلاق LiquidCodec، وهو مُرمِز صوتي للبث المباشر يضم حوالي 74 مليون معلمة، ويشكل الأساس لنماذجها LFM3-Audio-2B و LFM3-Omni-2B. يحول الكلام إلى رموز (tokens)، وهي وحدات منفصلة يمكن لنموذج لغوي التنبؤ بها، ثم يعيد تحويل هذه الرموز إلى صوت. الأوزان متاحة على Hugging Face.
يعالج LiquidCodec صوتًا مُعينًا بتردد 24 كيلوهرتز ويقطعه إلى إطارات مدتها 80 مللي ثانية. تتحول كل إطار إلى 12 رمزًا، موزعة على 12 تيارًا، وفقًا لورقة نموذج LFM3-Audio-2B. يحل هذا المرمِز محل Mimi من Kyutai، الذي كانت Liquid AI تستخدمه في LFM2-Audio-1.5B. يحتوي Mimi على 96.2 مليون معلمة.
آلية عمل من ثلاث مراحل
تعتمد آلية العمل على سلسلة من ثلاث مراحل: الترميز، والتكميم، وفك الترميز. تستخدم Liquid AI كتلًا من بنيتها LFM3 في المُرمِز كما في فك الترميز، وهما جزآن متناظران. المُرمِز سببي بالكامل، أي أنه يعتمد فقط على الأصوات التي تم استقبالها بالفعل، مما يجعله مناسبًا للبث المباشر.
للتكميم، يستخدم LiquidCodec طريقة تسمى GFSQ (التكميم القياسي المحدود المجموعات) بدلاً من RVQ (التكميم المتجهي المتبقي). في RVQ، يقوم كل قاموس رموز بتصحيح ما فشل القاموس السابق في التقاطه. مع GFSQ، تكون المجموعات مستقلة، مما يسمح للتيارات الـ 12 بالتنبؤ بها بالتوازي بواسطة محولات من نوع MaskGIT. يتنبأ فك الترميز مباشرة بالمعاملات الطيفية، دون مرحلة زيادة العينة بالالتفافية المنقولة، والتي غالبًا ما تكون مكلفة في مفككات ترميز الموجات.
تم التدريب على مرحلتين. استخدمت الأولى 264,000 ساعة من الكلام بـ 107 لغة، دون خسائر خصومية. ثم تم تحسين الثانية على 55,000 ساعة من كلام ذي نطاق ترددي كامل (24 كيلوهرتز أو أكثر)، مع نقد خصومي. وفقًا لـ Liquid AI، أزالت هذه الخطوة القطع الأثرية المعدنية المتبقية. تهدف خطوة أخيرة، وهي التكميم الواعي للتدريب (QAT) على فك الترميز فقط، إلى الاستدلال على أجهزة الحافة.
السرعة والجودة وفقًا لـ Liquid AI
قامت Liquid AI بقياس السرعة باستخدام FP32 على خيط تنفيذ وحيد لمعالج في جهاز MacBook Pro مجهز بشريحة Apple M4 Max. وفقًا لهذه الأرقام، التي هي إعلانية، يعالج LiquidCodec الترميز بحوالي 361 ضعف الوقت الفعلي وفك الترميز بحوالي 87 ضعفًا. عامل الوقت الفعلي (RTF) هو وقت المعالجة مقسومًا على مدة الصوت: كلما انخفض، كانت المعالجة أسرع. يبلغ RTF الترميز 0.0028، مقابل 0.0361 لـ Mimi، و0.2145 لـ NanoCodec و0.7359 لـ X-Codec 2. في فك الترميز، يبلغ 0.0115، مقابل 0.0329، و0.2543 و0.0379 على التوالي.
لقياس الجودة، استخدمت Liquid AI ثماني مجموعات اختبار: LibriSpeech test-clean، وSeed-TTS بالإنجليزية والماندرين، وخمس لغات من FLEURS (الألمانية، الفرنسية، الماندرين، اليابانية، الكورية). حقق LiquidCodec أفضل درجة ViSQOL وأقل مسافة ميل على المجموعات الثماني. على LibriSpeech، بلغت درجة ViSQOL 4.319، مقابل 4.219 لـ NanoCodec، و4.119 لـ X-Codec 2 و4.031 لـ Mimi. في اختبارات توليف الكلام المدربة على رموز كل مُرمِز، أظهر LiquidCodec أفضل درجة UTMOSv2 على المجموعات الثماني. بلغ معدل خطأ الكلمات على LibriSpeech 3.15%، مقابل 6.27% لـ Mimi.
ومع ذلك، حقق NanoCodec درجة أفضل في PESQ (WB) على سبع من المجموعات الثماني، وتفوق على LiquidCodec في تشابه المتحدث على LibriSpeech (SECS 0.836 مقابل 0.785).
النشر
يتم تحميل المرمِز باستخدام Hugging Face Transformers، مع تفعيل trust_remote_code=True. تنتج الدالة encode() رموز الصوت وتعيد الدالة decode() شكل الموجة. تتيح فئة أصلية، LiquidCodecStreamingCache، فك الترميز قطعة قطعة. تستخدم الأمثلة في الورقة وحدات معالجة رسومية (GPU) من نوع CUDA بتنسيق bfloat16.
للأجهزة المضمنة، تقدم Liquid AI إصدارات GGUF Q4_0 و Q4_K_M و Q8_0 مخصصة لـ llama.cpp، بالإضافة إلى مستودعات GGUF لـ LFM3-Audio-2B و LFM3-Omni-2B. وفقًا للشركة، يقلل الجمع بين Q4_0 و QAT لفك الترميز من بصمته بعامل 3.5. تنخفض حينها درجة ViSQOL على LibriSpeech من 4.319 إلى 4.292.
