تعرض فرق من أمازون طريقة HOPE (التقليم عالي الرتبة للخبراء)، وهي طريقة تقليم مصممة لنماذج اللغة من نوع خليط الخبراء (MoE). تصل هذه النماذج إلى مئات المليارات من المعاملات، لكن ذاكرتها تظل عقبة مكلفة. تسعى HOPE إلى إزالة الخبراء الأقل فائدة مع مراعاة تفاعلاتهم.
في بنية MoE، ينقسم النموذج إلى شبكات فرعية تسمى «خبراء». لكل رمز (توكن)، أي كل وحدة نصية تتم معالجتها، يتم تفعيل عدد قليل من الخبراء فقط. وفقًا للمصدر، يحتوي Qwen3.5-122B على 256 خبيرًا في كل من طبقات MoE البالغ عددها 48. تمثل هذه الخبراء وحدها 95% من ذاكرة النموذج البالغة حوالي 250 جيجابايت، بينما يتم استخدام 8 خبراء فقط لكل طبقة لرمز معين.
التقليم يعني إزالة الخبراء نهائيًا. تتجنب هذه الطريقة التأخيرات المرتبطة بالتحميل الديناميكي، ولا تتطلب أي تدريب، ويمكن دمجها مع التكميم. ومع ذلك، فإن الطرق الحالية تعطي لكل خبير درجة منعزلة، دون مراعاة الآخرين. تبرز HOPE من خلال الاعتماد على التفاعلات بين أزواج الخبراء.
خبراء يتعاونون
يلاحظ المؤلفون أن الخبراء يشكلون مجموعات غالبًا ما يتم تفعيلها معًا. وبالتالي، فإن إزالة خبير يُعتبر غير مهم قد يؤدي إلى تفكيك مجموعة إذا كان خبير آخر يعتمد عليه مستخدمًا بكثافة. الطرق التي تصنف كل خبير على حدة لا ترى هذه الظاهرة.
تعتمد HOPE على مصفوفة تسمى F. يقيس قطرها أهمية كل خبير بشكل فردي، وتقيم القيم خارج القطر تعاونهم ثنائيًا. وفقًا للمؤلفين، يستعيد القطر تقريبًا بشكل مثالي ترتيب REAP، وهي طريقة مرجعية، بمعامل سبيرمان 0.988. وبالتالي، فإن أي تحسن لـ HOPE مقارنة بـ REAP سينبع من مصطلحات التفاعل.
نتائج تتحسن مع معدل التقليم
تم تقييم الطريقة على ثلاثة نماذج، Qwen3.5-122B وQwen3.5-35B وGLM-4.5-Air، مع مجموعتي معايرة، ومقارنتها بأربع طرق مرجعية: REAP وMAN وEAN وFrequency. تتراوح معدلات التقليم من 10% إلى 50%. في جميع الظروف، حصلت HOPE على أفضل رتبة متوسطة، وهي 2.07 من أصل 5 طرق، مع 39% من المراكز الأولى.
تزداد ميزة HOPE مع زيادة معدل التقليم. عند 50%، وصل متوسط رتبتها إلى 1.58، مقابل 2.42 لـ REAP. في اختبار SWE-Bench Pro، وهو اختبار للبرمجة الوكلائية، حقق النموذج Qwen3.5-35B-A3B المقلّم بنسبة 50% درجة 42.3، مقابل 41.8 للنموذج غير المقلّم، بينما انخفضت REAP إلى 36.2، أي تراجع بنسبة 13%. يشير المؤلفون إلى أن الميزة أقل عند 10-20%، وأن HOPE لا تأخذ في الاعتبار التفاعلات بين الطبقات.
تنفيذ من ثلاث خطوات
يتضمن الكود المنشور كحزمة ثلاثة أوامر: المعايرة، ثم حل البرنامج التربيعي، ثم التقليم. تتطلب المعايرة تمريرة أمامية واحدة على بيانات الاختبار، ويستغرق الحل، وفقًا للمصدر، ثانية إلى ثانيتين لكل طبقة. النموذج الناتج هو نقطة تحقق قياسية من Hugging Face، أخف وزنًا على القرص وفي الذاكرة، دون تعديل على vLLM أو SGLang. تشمل الاختبارات Qwen3 وQwen3-Next وQwen3.5 وGLM-4.5.
