Prime Intellect أطلقت Prime Mega MoE، وهو امتداد تدريبي للنواة المدمجة Mega MoE لـ DeepSeek الخاصة بوحدة معالجة الرسومات. بينما كانت نواة DeepSeek تغطي فقط المرور الأمامي، أضافت Prime Intellect إليها مرورًا خلفيًا سريعًا يتداخل مع الحسابات الأخرى، مما يجعل النواة قابلة للاستخدام في التدريب وليس فقط في الاستدلال. وفقًا للشركة، في مدربها prime-rl، تدور خطوات التدريب الكاملة على نماذج Qwen3 MoE بسرعة تصل إلى 34%، وتصل إلى 55% أسرع مقارنة بـ TorchTitan.
في نموذج MoE (mixture of experts، أو « خليط الخبراء »)، يُرسل كل رمز token فقط إلى مجموعة فرعية صغيرة من الخبراء، موزعة على وحدات معالجة رسومات مختلفة. لذلك يجب على كل طبقة إرسال الرموز، وجعل الخبراء يقومون بالحساب، ثم إعادة النتائج، أثناء المرور الأمامي وكذلك المرور الخلفي، مرحلة الانتشار الخلفي المستخدمة في التعلم. في التكوين القياسي، تكون هذه العمليات منفصلة: تقوم وحدة معالجة الرسومات بفرز الرموز، وتنتظر النقل، ثم تحسب، ثم تنتظر مرة أخرى. هذه الأوقات الانتظارية تمثل أوقاتًا غير نشطة للحساب.
نواة مدمجة، مكتملة للتعلم
Mega MoE الخاص بـ DeepSeek، المضاف إلى مكتبة DeepGEMM في أبريل 2026، يحل محل هذه السلسلة باستدعاء نواة واحدة. النواة (kernel) هي برنامج مُحسّن يعمل مباشرة على وحدة معالجة الرسومات. هذه النواة تدمج الإرسال المتوازي للخبراء، والطبقتين الخطيتين للخبراء، و SwiGLU ومرحلة الدمج. أثناء وجود مجموعة من الرموز قيد النقل، تحسب النواة على مجموعة وصلت بالفعل، وتتجنب الموترات الوسيطة من خلال مخازن عمل موجودة فقط على وحدة معالجة الرسومات. ومع ذلك، لم تتضمن هذه النواة سوى تنفيذ للمرور الأمامي.
كتبت Prime Intellect المرور الخلفي المفقود، وهو أيضًا متداخل. أنواع البيانات المدعومة هي BF16، و MXFP8 المخصص لوحدات معالجة الرسومات Blackwell، و FP8 المجزأ blockwise المخصص لوحدات معالجة الرسومات Hopper. يقدم تكوين prime-rl أيضًا وضع fp8_bwd: مرور أمامي بـ BF16، ومرور خلفي بـ FP8.
أرقام معلنة ذاتيًا
جميع النتائج منشورة من قبل Prime Intellect نفسها. تستخدم خطوات التدريب عُقدًا من 8 H200، بـ FP8، بتسلسلات من 16384 رمزًا، وفحص تنشيط كامل. على Qwen3-30B-A3B، الموزع على 32 H200، تستغرق خطوة كاملة 2.78 ثانية مع قاعدة prime-rl، و 3.07 ثانية مع TorchTitan (FP8) و 2.08 ثانية مع Prime Mega MoE، أي مكاسب بنسبة 34% و 48%. على Qwen3-235B-A22B، الموزع على 128 H200، المدد هي 12.72 ثانية، 14.98 ثانية و 9.65 ثانية، لمكاسب بنسبة 32% و 55%. ينتقل الإنتاجية، على النموذج 30B، من 5337 إلى 7886 رمزًا في الثانية لكل وحدة معالجة رسومات مقابل TorchTitan، وعلى النموذج 235B، من 1094 إلى 1697.
عند القياس طبقة تلو طبقة على عقدة واحدة، يكون الربح أكثر وضوحًا في الأمام منه في الخلف. ينتقل المرور الأمامي لنموذج Qwen3-30B-A3B من 12.0 مللي ثانية إلى 3.9 مللي ثانية، أي بعامل 3.11. ينتقل المرور الخلفي لنموذج Qwen3-235B-A22B من 30.5 مللي ثانية إلى 24.6 مللي ثانية، أي 1.24. وبالتالي فإن الرقم « يصل إلى 3.11x » يتعلق فقط بالمرور الأمامي. من جانبها، تدعي TorchTitan ربحًا يصل إلى 41%، ولكن في تكوين مختلف (B200، نموذج بـ 671 مليار معامل، قاعدة BF16)، والذي تعتبره المصدر غير قابل للمقارنة مباشرة.
Prime Mega MoE مُوزع تحت ترخيص Apache 2.0. في prime-rl، يتم تفعيله كواجهة خلفية للإرسال: يكفي تعيين type = « mega_moe » تحت [trainer.model.moe.dispatch]، ثم اختيار الدقة من بين bf16، mxfp8، fp8 أو fp8_bwd. نويات التدريب مقدمة في عجلة DeepGEMM مسبقة التجميع، متاحة في مستودع prime-kernels، لأن النسخة القياسية من DeepGEMM لا تحتوي عليها.
