يُعد تكميم التنشيطات، وهي القيم المحسوبة أثناء الاستدلال لنموذج لغوي، أكثر تعقيدًا من تكميم الأوزان الثابتة بعد التدريب. وفقًا لمقال Machine Learning Mastery، تقدم طريقة SmoothQuant وتنسيق FP8 حلين لهذه المشكلة، كما تتيح مكتبة LLM Compressor، التابعة لمشروع vLLM، تطبيقهما.
لماذا يصعب تكميم التنشيطات
أوزان الشبكة ثابتة بمجرد انتهاء التدريب: يمكن تكميمها مرة واحدة فقط قبل النشر. أما التنشيطات، فتعتمد على الرمز المميز المعالج، وموقعه في التسلسل، والطبقات السابقة. قد تتغير نطاقات قيمها من طلب إلى آخر، وقد تحتوي بعض القنوات على قيم متطرفة مستمرة.
يوجد منهجان متوازيان. يستخدم التكميم الثابت مقاييس تُحسب خلال مرحلة معايرة، مما يجعله سريعًا، ولكن قد يتم اقتطاع أي مدخلات خارج النطاق المعاير. يقيس التكميم الديناميكي كل موتر أثناء التنفيذ: فهو يتكيف مع كل مدخل، ولكنه يضيف تكلفة حسابية. يعرض المقال على وجه الخصوص تكميمًا ديناميكيًا لكل رمز، باستخدام INT8 المتماثل الموقع، حيث يحصل كل متجه في البعد النهائي على مقياسه الخاص.
يطرح اختيار النطاق أيضًا مفاضلة. تغطية جميع القيم تجعل خطوة التكميم خشنة للقيم الشائعة، بينما يحسن الاقتطاع دقتها على حساب القيم المتطرفة. يعتمد الخيار الأفضل على كيفية استخدام الأوزان اللاحقة لهذا المتجه.
SmoothQuant وتنسيق W8A8
يشير الاختصار W8A8 إلى الأوزان والتنشيطات باستخدام INT8 لضرب المصفوفات. عندما يتعامل العتاد بكفاءة مع هذه الحسابات الصحيحة، يمكن لهذا الإعداد تقليل نقل الذاكرة وزيادة معدل الحساب. قد تبقى الانحيازات والتطبيع أو البقايا بدقة أعلى.
يتعامل SmoothQuant مع القيم المتطرفة بنقل جزء من الصعوبة من التنشيطات إلى الأوزان. يعتمد المبدأ على تحويل مكافئ رياضياً قبل التكميم: تُقسم قنوات التنشيط المهمة على مقاييس أكبر، بينما تُضرب أعمدة الأوزان المقابلة بنفس المقاييس. يوضح المقال أن هذا التحويل يثبت فقط تكافؤًا رياضيًا دقيقًا، بينما يستمد التنفيذ الفعلي المقاييس من مقادير الأوزان وتنشيطات المعايرة.
يشير المؤلف إلى أن إعداد W8A8 غير مضمون ليكون أسرع من تنسيق W4A16 أو BF16. يمكن لـ W8A8 الاستفادة من حساب المصفوفات الصحيحة، خاصة أثناء التعبئة المسبقة وللدفعات الكبيرة، بينما يقرأ W4A8A16 وحدات بايت أقل من الأوزان وقد يكون مناسبًا لفك التشفير للدفعات الصغيرة. يوصي المقال بقياس المرحلتين.
التكميم في الفاصلة العائمة
لا يتعلق FP8 بمجرد إزالة البتات من قيمة FP32. في مخطط FP8 المعاير، يُقسم الموتر على مقياس، ثم يتم تقريب كل نتيجة إلى قيمة FP8 قابلة للتمثيل. على عكس INT8، لا تكون قيم FP8 متباعدة بشكل منتظم: فهي أدق بالقرب من الصفر وأكثر تباعدًا للقيم الكبيرة.
يميز المقال على وجه الخصوص بين E4M3، الذي يحتوي على أربعة بتات للأس وثلاثة بتات للجزء العشري، وE5M2، الذي يحتوي على خمسة بتات للأس وبتين للجزء العشري. يوفر E4M3 دقة أكبر، بينما يوفر E5M2 نطاقًا أوسع. يعتمد الاختيار على العتاد ومحرك الاستدلال.
تحول وصفة LLM Compressor المسماة FP8_DYNAMIC نموذجًا إلى تنسيق Hugging Face، عن طريق تكميم الأوزان بالتقريب إلى أقرب قيمة وحساب مقاييس التنشيط أثناء الاستدلال. كما يتم اقتراح متغير يجمع بين SmoothQuant وFP8. وفقًا للمقال، تدعم الإصدارات الحالية من vLLM تنسيق FP8 على بطاقات NVIDIA Ada Lovelace وHopper وBlackwell، بالإضافة إلى بعض مسرعات AMD، ويوصي بالتحقق من مصفوفة التوافق للعتاد المستهدف.
