أطلقت إنفيديا Nemotron 3.5 Transcribe، وهو نموذج لغة بإدخال صوتي، مفتوح الأوزان، ومصمم خصيصًا للتحويل إلى نص. يعالج نموذج واحد 40 لغة وتسجيلات تصل مدتها إلى ساعة واحدة. تحدد تعليمة نصية نمط الإخراج المطلوب في كل استعلام، ويمكنه للمطورين أن يحل محل عدة أدوات منفصلة للتعرف على الكلام وتحديد المتحدثين والمحاذاة.
يضم النموذج، الذي تقدمه إنفيديا كمتخصص في التحويل إلى نص وليس كمساعد عام، 34 مليار معامل إجمالاً، يُنشط منها حوالي 4.3 مليار في كل عملية حسابية. تصل نافذة السياق الخاصة به إلى 65,536 رمزًا، وهي وحدات النص التي يمكنه معالجتها دفعة واحدة. تشمل خيارات الإخراج النص الحرفي، والشكل المكتوب، ونسبة الكلام إلى كل متحدث، ودمج قائمة مصطلحات سياقية، والترجمة.
هندسة معمارية من ثلاث كتل
يجمع النظام بين مشفر صوتي قابل للتدريب بحجم 0.6 مليار معامل، يعمل بالتوازي مع نموذج لتحديد المتحدثين مجمد، وهو Nemotron 3 Diarization. يتتبع الأخير ما يصل إلى 8 متحدثين، وتُضاف أنشطته إلى الميزات الصوتية كل 80 مللي ثانية. قلب النموذج هو Nemotron 3.5 Lightning 30B-A3B، وهو هيكل هجين من نوع Mamba-Transformer من فئة MoE (خليط من الخبراء، الذي ينشط جزءًا فقط من المعاملات في كل خطوة). أخيرًا، يقوم محول CTC بحجم 50 مليون معامل بمحاذاة النص النهائي مع الصوت لإنتاج طابع زمني لكل كلمة.
تم تدريب النموذج عبر مرحلة ضبط دقيق خاضع للإشراف على 256 وحدة معالجة رسومية من نوع H100، لمدة 28,500 خطوة، تليها مرحلة قصيرة من التعلم المعزز. وفقًا للتقرير التقني من إنفيديا، شاهد النموذج حوالي 1.72 مليون ساعة من الصوت الفريد، أي 6.5 مليون ساعة مع احتساب التكرارات.
نتائج أعلنت عنها إنفيديا
جميع الأرقام أدناه هي ذاتية الإعلان من قبل إنفيديا في تقريرها التقني. على مجموعات البيانات العامة التسعة باللغة الإنجليزية في لوحة Open ASR Leaderboard، سجل النموذج متوسط معدل خطأ في الكلمات (WER) بنسبة 4.71%، مقارنة بـ 4.94% لنموذج Qwen3-ASR-1.7B المفتوح التالي. سبعة أنظمة تجارية لا تزال متفوقة، بما في ذلك OtterAI speech-v3.1 بنسبة 3.88%. في اللغات المتعددة، عبر سبع لغات، بلغت النتيجة 4.62%، مقابل 6.49% لـ Qwen3-ASR-1.7B، بينما حقق ElevenLabs Scribe v2 نسبة 3.56%. بالنسبة للاجتماعات متعددة المتحدثين، تشير إنفيديا إلى معدل 15.80% (cpWER)، مقابل 16.83% لـ DiCoW v3.3 المقترن بـ DiariZen. تدعي الشركة أنه أول نموذج من نوع SALM يتفوق على الأنظمة المتتالية في هذه النقطة. كما أن قائمة بالكيانات المسماة خفضت معدل الخطأ في هذه الأسماء من 12.21% إلى 2.20% على ContextASR-Bench. كانت النتائج أقل جودة للغة الماندرين في الاجتماعات: 34.95% على AliMeeting، باستخدام ميكروفون بعيد، و 32.91% على AISHELL-4.
النشر والقيود
الأوزان متاحة بصيغ BF16 و FP8 و NVFP4، وكذلك بصيغة GGUF. النسخة BF16 تتسع على وحدة H100 واحدة سعة 80 جيجابايت، بينما تزن نسخة FP8 حوالي 35 جيجابايت ونسخة NVFP4 حوالي 21 جيجابايت، حيث تعمل الأخيرة على RTX 5090. تسمح ترخيص OpenMDW-1.1 بالاستخدام التجاري، وفقًا للمصدر. تعلن إنفيديا أيضًا عن سرعة تبلغ 2,238 ضعف الوقت الفعلي على وحدة RTX PRO 6000 Blackwell واحدة مع حلها NIM، لكن هذه التحسينات ليست مفتوحة المصدر بعد، ومن المتوقع أن يكون المسار المتاح vLLM أبطأ بحوالي مرتين عند الإطلاق. يعمل النموذج فقط في وضع عدم الاتصال وليس خدمة للتعرف على الكلام في الوقت الفعلي. تشير إنفيديا أيضًا إلى نقاط ضعف في اجتماعات اللغة الماندرين وفي تبديل اللغات داخل الجملة نفسها.
