أصدرت NVIDIA Nemotron-Labs-Sigma، مجموعة من 14 نقطة تحقق مفتوحة، متوفرة بإصدارات 3B و8B من المعاملات. تنتمي هذه العائلة من نماذج اللغة إلى تقنية الانتشار المستمر: حيث تقوم بإزالة الضوضاء من النص في فضاء كامن أملس ذي 16 بعدًا. وفقًا لفريق NVIDIA، تجعل هذه الطريقة تقطير النص في خطوات قليلة أكثر قابلية للتطبيق، بالإضافة إلى التحكم في مسارات التوليد.
تعمل معظم نماذج الانتشار، مثل LLaDA أو Dream، على رموز متقطعة، أي وحدات نصية تُعامل كحالات منفصلة. أما Sigma فتعمل في فضاء مستمر: حيث يُمثل كل رمز بنقطة في فضاء التضمين، وهو تمثيل رقمي يتعلمه النموذج. أثناء التدريب، يُضاف ضجيج غاوسي إلى هذه التمثيلات، ويتعلم النموذج إزالته. تُتعلم هندسة هذا الفضاء في الوقت نفسه مع مزيل الضوضاء.
هيكلية وتدريب متعدد المراحل
يتم التوليد على شكل كتل. تُسجل كل كتلة بعد إزالة الضوضاء في ذاكرة KV، وهي ذاكرة تحتفظ بالحسابات المنفذة مسبقًا، قبل بدء الكتلة التالية. بشكل افتراضي، تحتوي الكتل على 64 رمزًا. تعتمد الهيكلية على مُفكك ترانسفورمر من نوع Ministral، مع انتباه لمجموعات الطلبات، SwiGLU وتضمينات دوارة.
يبدأ التدريب بتدريب مسبق ذاتي الانحدار، أي توليد كلمة تلو الأخرى، على حوالي 1 تريليون رمز. ثم يستمر بحوالي 0.3 تريليون رمز تدريب بالانتشار. للتنفيذ، توصي ورقة النموذج بتوجيه بدون مصنف بقيمة 3 ودرجة حرارة 0.3، مع 32 خطوة DDIM. نافذة السياق للنموذج الأساسي هي 4096 رمزًا، و8192 رمزًا لـ Sigma-8B-instruct.
في مجموعة اختبارات NVIDIA المكونة من ست مهام، حقق Sigma-8B الأساسي متوسط 71.16، متقدمًا على NLD-8B (70.22)، Dream-7B (58.74) وLLaDA-8B (41.78). أما Qwen3-8B في وضع الانحدار الذاتي فحقق 68.91. يتميز النموذج في البرمجة، حيث سجل 65.12 في HumanEval مقابل 62.80 لـ NLD-8B، لكنه لا يزال متأخرًا في MBPP، بـ 65.74 مقابل 67.00.
بعد التخصيص المُشرف، حصل Sigma-8B-instruct على 91.96 في GSM8K، 78.40 في MATH-500 و82.50 في HumanEval. يبقى الاستدلال الصعب محدودًا، مع 23.33 في AIME24 و17.00 في AIME25. يبلغ متوسطه في عشر مهام 59.14، أقل قليلاً من NLD-8B الذي سجل 59.92. هذه الدرجات هي تقييمات أجرتها NVIDIA.
السرعة والنشر
تقوم النسخة المقطرة Sigma-distill-8B-nfe8 بفك تشفير كل كتلة من 32 رمزًا في ثماني نداءات لمزيل الضوضاء، بالإضافة إلى قراءة نهائية. تشير ورقة النموذج إلى متوسط 70.34 في ست مهام، مع 88.44 في GSM8K و65.18 في HumanEval. تضيف نسخ distill-spec فك تشفير تكهني: حيث يقترح رأس انتشار كتلة من 32 رمزًا، ويتحقق الرأس الانحداري الذاتي للنموذج منها. وفقًا لـ NVIDIA، النتيجة مماثلة لفك تشفير انحداري جشع.
على جهاز GB200 مع SGLang، يكون النموذج 8B التكهن أسرع بمعدل 3.46 مرة من فك التشفير الانحداري، مقابل 3.04 مرة لـ NLD-8B. تصل الذروات إلى 4.20 مرة للـ 8B و3.18 مرة للـ 3B. هذه القياسات معلنة ذاتيًا من NVIDIA.
النقاط الـ14 للتحقق متاحة على Hugging Face تحت ترخيص NVIDIA Nemotron Open Model، الذي تشير أوراقه إلى أنه يسمح بالاستخدام التجاري. يتطلب وجود GPU CUDA بمعمارية bfloat16، من بين معمارية Ampere، Lovelace، Hopper أو Blackwell، ولا يدعم الاستدلال على المعالج. على H100، يولد النموذج الأساسي حوالي 120 إلى 140 رمزًا في الثانية. لا تستضيف NVIDIA أي API.
