The AI / news

بـ 180 مليار معامل و32 جيجابايت من الذاكرة العشوائية، Transformers تدفع الاستدلال في نماذج MoE إلى الحد الأقصى

بـ 180 مليار معامل و32 جيجابايت من الذاكرة العشوائية، Transformers تدفع الاستدلال في نماذج MoE إلى الحد الأقصى
3 دقيقة للقراءة

يشرح منشور تقني نُشر على موقع Hugging Face كيفية تشغيل النموذج Qwen3.8-Flash-Next من نوع MoE بحجم 121 جيجابايت على جهاز MacBook مزود بذاكرة موحدة سعة 32 جيجابايت. من خلال بث الخبراء مباشرة من محرك SSD، وصل المؤلف إلى سرعة 13.9 رمز/ثانية في عملية التوليد، أي أقل بنحو 6% من Strata، وهو محرك استدلال متخصص في هذا النوع من النماذج.

النقطة البداية شخصية. يريد المؤلف تقليل الاعتماد على النماذج عبر الإنترنت وتشغيل نماذج أكبر حجمًا محليًا. يمتلك جهاز كمبيوتر مزودًا ببطاقتي RTX 4090، يعمل بنظام Windows 11، وجهاز MacBook M5 بذاكرة موحدة سعة 32 جيجابايت. بعد تجربة أولية مع Qwen 3.8 27B، وجهته مناقشات على وسائل التواصل الاجتماعي نحو Strata وQwen3.8-Flash-Next. MoE (خليط من الخبراء) هو بنية معماريّة يتم فيها تنشيط جزء فقط من الشبكات الفرعية، المسماة خبراء، لكل رمز (token)، أي لكل جزء نصي تتم معالجته. وفقًا للمنشور، تمثل الخبراء أكثر من 90% من أوزان نموذج MoE، مما يسمح بالاحتفاظ في الذاكرة السريعة فقط بتلك الأكثر استخدامًا.

مقارنة طرق التفريغ

قبل اختيار Strata، قارن المؤلف بين llama.cpp وvLLM وTransformers على نموذج Qwen3.6-35B-A3B، باستخدام بطاقة A10G سعة 24 جيجابايت. وصل Strata إلى 82-88 رمز/ثانية بتنسيق Q8_0، بينما وصل llama.cpp إلى 63-64 رمز/ثانية باستخدام خيار –fit on، ووصل Transformers مع Accelerate إلى 0.16 رمز/ثانية فقط. أعاد Harry Mellor إجراء اختبارات vLLM بإعدادات أفضل: أسرع تكوين، باستخدام FP8 مع تفريغ الخبراء، وصل إلى 20.1 رمز/ثانية.

يستخلص المنشور فكرة مركزية: تحويل ذاكرة التخزين المؤقت للخبراء إلى « مجموعة فتحات » (slot pool)، وهو موتر واحد يتم تخصيصه مسبقًا ومشاركته من قبل جميع الطبقات. يتم إعادة توجيه معرفات الخبراء المقدمة من الموجه (router) إلى هذه الفتحات، مما يسمح باستخدام النواة الحالية لـ Transformers، grouped_mm، دون الحاجة إلى كتابة حسابات خاصة. على نموذج OLMoE-1B-7B، رفعت هذه الميزة السرعة إلى 34.6 رمز/ثانية، مقارنة بـ 38.1 رمز/ثانية لـ Transformers التقليدية.

جهاز Mac سعة 32 جيجابايت لتشغيل Qwen3.8-Flash-Next

بالنسبة للنموذج المستهدف، تم تقليل دقة الخبراء إلى 3 بت، ليصبح حجمها على القرص 49 جيجابايت، مع ذاكرة تخزين مؤقت سعة 12 جيجابايت على الجهاز. تم تحويل الطبقات الكثيفة إلى 8 بت، بحوالي 5.4 جيجابايت، مما أدى إلى زيادة طفيفة في الارتباك (perplexity) بنسبة 0.2% مقارنة بـ BF16. بقيت جدول التضمين n-gram، البالغ 51 جيجابايت، على القرص ويتم قراءته فقط عند الحاجة. استغرقت عملية التحويل حوالي خمس ساعات. بعد التحميل، يشغل النموذج حوالي 18 جيجابايت، ويصل المطالبة (prompt) البالغة 6000 رمز إلى ذروة 25.4 جيجابايت، وهو ما يمثل – وفقًا للمؤلف – الحد الأقصى للجهاز: كان عليه إغلاق متصفحه لمنع نظام macOS من البدء في استخدام الذاكرة الافتراضية (swap).

فارق بنسبة 6% مع Strata

بعد عدة تحسينات، أعطت القياسات على نفس جهاز M5 ونفس المطالبات سرعة 13.9 رمز/ثانية في فك الترميز على 200 رمز، مقارنة بـ 14.8 لـ Strata. في التعبئة المسبقة (prefill) لمطالبة 4000 رمز، وصل Transformers إلى 228 رمز/ثانية، مقارنة بـ 220 لـ Strata. من بين التحسينات المذكورة التحقق المسبق من حسابات GPU على MPS، والذي حقق حوالي 10%، واستخدام أوزان GGUF الخاصة بـ Strata، مما قلل حركة بيانات الطبقات الكثيفة من 5.4 جيجابايت إلى 3.9 جيجابايت لكل رمز.

وفقًا للمؤلف، يعود السبب المتبقي بشكل أساسي إلى عمليات الانتقال بين المضيف (host) ووحدة معالجة الرسومات (GPU)، والتي تمثل حوالي 10 مللي ثانية لكل رمز. يرى أن هذه السرعة لا تزال غير كافية للاستخدام اليومي لوكلاء البرمجة: «Orthrus لا يزال يقوم بالعمل الحقيقي». لا تزال واجهة البرمجة قيد المناقشة مع القائمين على صيانة Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x