نشر باحثون من Polymathic AI، وجامعة برينستون، وUSC ISI، وNYU، ومعهد Flatiron FlashMap، وهو « مسود » مخصص للفك التخميني للنماذج اللغوية. وفقًا للفريق، يمكنه تسريع التوليد على Qwen3-8B حتى 6.14 مرة دون تعديل الناتج. أوزان المسود لـ Qwen3-8B وQwen3-4B متاحة على Hugging Face.
يتكون الفك التخميني من جعل نموذج مساعد صغير يقترح عدة tokens (وحدات النص التي يتعامل معها النموذج)، ثم يقوم النموذج الكبير بالتحقق منها في تمريرة واحدة. يقترح FlashMap كتلة كاملة من 16 رمزًا دفعة واحدة، ووفقًا للمؤلفين، تبقى الرموز في هذه الكتلة متسقة مع بعضها البعض. يحتوي المسود على 0.5 مليار معلمة، أي 500 مليون لـ Qwen3-8B و475 مليون لـ Qwen3-4B، ويعمل على نفس وحدة معالجة الرسومات الخاصة بالنموذج المستهدف.
لماذا تفقد المسودات في الانتشار دقتها؟
يتنبأ المسود DFlash بكل موضع في الكتلة بشكل مستقل، وهو ما يسميه الباحثون تقريبًا عامليًا. يقدم المصدر مثالًا على سلسلة كلمات يمكن أن تكون « new york » أو « san diego » باحتمالات متساوية. في هذه الحالة، يقترح مسود مستقل « new diego » أو « san york » مرة من أصل مرتين، ويرفض النموذج المستهدف هذه السلاسل في الموضع الثاني.
يعتمد FlashMap على نماذج اللغة Flow Map. كل عينة ضوضاء تتوافق مع كتلة كاملة، وتحدد هذه الضوضاء بشكل مشترك النسخة المحتفظ بها لكل موضع. المسود هو محول انتشار (DiT) مكون من 6 كتل، ببعد تضمين 2048 و16 رأس انتباه. يقرأ الحالات المخفية للطبقات 1،9 و17،25 و33 من النموذج المستهدف.
نتائج مُعلن عنها في تسعة معايير تقييم
أعاد الباحثون تدريب EAGLE-3 وDFlash على نفس البيانات وفي نفس الظروف، ثم اختبروا المسودات على تسعة معايير تقييم تشمل الرياضيات والبرمجة والدردشة، عند درجات حرارة 0 و1. وفقًا للمصدر، فإن FlashMap ذو المرحلة الواحدة هو أسرع مسود في كل مهمة تم اختبارها على Qwen3-8B، عند الدرجتين الحراريتين. يتفوق على DFlash في طول القبول في 15 تكوينًا من أصل 18، بحوالي نصف معلماته.
في الوضع ثنائي المراحل، يتجاوز طول القبول DFlash في 18 تكوينًا من أصل 18، بنسبة أفضل في المتوسط تبلغ 10%. يشير المؤلفون أيضًا إلى أنه على Qwen3-4B، عند درجة الحرارة 0، يتفوق DFlash على FlashMap في 4 من أصل 9 مهام. أضعف حالة تم الإبلاغ عنها هي تحقيق تسريع بمقدار 2.28 مرة على Alpaca عند درجة الحرارة 1. تم تدريب النموذج على 500،000 عينة من Open-PerfectBlend، بإجمالي حوالي 4،600 ساعة حساب على وحدات H200.
للتوزيع، تتطلب حزمة flashmap فقط torch وtransformers بالإصدار 4.56 أو أعلى، وتشير المشاريع إلى مسارات استخدام عبر vLLM 0.31 وSGLang 0.5.20. الأوزان منشورة بموجب ترخيص Apache-2.0 والشفرة المصدرية بموجب ترخيص MIT.
