تكميم الأوزان فقط يتضمن تخزين بعض معلمات نموذج المحول (transformer) كأعداد صحيحة، مع الاحتفاظ بالتفعيلات (activations) بصيغة FP16 أو BF16. تهدف هذه التقنية إلى تقليل المساحة المستهلكة في الذاكرة وتكلفة قراءة الأوزان، وهو ما يشكل عبئًا كبيرًا أثناء توليد النص. يرسم برنامج تعليمي نُشر مؤخرًا مبدأها الرياضي، ثم الأدوات التي تسمح بتطبيقها باستخدام PyTorch ومحركات استدلال أخرى.
أثناء عملية التوليد، يقرأ النموذج أوزانه عند كل رمز جديد، أي كل وحدة نصية ينتجها. عند أحجام الدُفعات الصغيرة، قد تستغرق عملية نقل هذه الأوزان وقتًا أطول من الحساب نفسه. الوزن المخزن بصيغة INT8 يشغل نصف المساحة التي يشغلها الوزن المخزن بصيغة FP16 أو BF16. يمكن للتكميم أيضًا تسريع الحساب، لأن العديد من وحدات معالجة الرسومات المخصصة للذكاء الاصطناعي تنفذ عمليات المصفوفات بدقة منخفضة بشكل أسرع مما تنفذه بصيغة FP16. لكن الكسب الفعلي يعتمد على العتاد، ونواة الحساب، وبنية النماذج.
مبدأ المقياس ونقطة الصفر
تعتمد الطريقة المقدمة على مراسلة خطية غير متناظرة، تستخدم مقياسًا و نقطة صفر. يحدد المقياس الفرق بين قيمتين قابلتين للتمثيل، بينما نقطة الصفر هي الرمز الصحيح المقابل للصفر الحقيقي. تضمين الصفر ضمن نطاق القيم يسمح بتمثيله بدقة. يوضح البرنامج التعليمي أن هذا المثال يوضح الحساب وليس التخزين الفعال: الموتر (tensor) المخزن بصيغة uint8 يشغل بايتًا واحدًا لكل عنصر، حتى لو استخدم أقل من ثمانية بتات. غالبًا ما تحافظ طرق التكميم لكل قناة أو لكل مجموعة على جودة أوزان نموذج لغوي كبير بشكل أفضل، حيث أن لكل قناة أو مجموعة نطاقها الخاص.
مع PyTorch، تقوم الدالة quantize_() من مكتبة TorchAO باستبدال أوزان وحدات torch.nn.Linear في مكانها. عند تطبيقها على نموذج مُدرب مسبقًا، فهي تنتمي إلى فئة التكميم بعد التدريب، دون خطوة تدريب إضافية. يوضح البرنامج التعليمي إعدادًا غير متناظر لكل قناة بصيغة INT8، مع بقاء التفعيلات بصيغة BF16. تقدم TorchAO أيضًا إعدادات مسبقة مكيفة مع العتاد، مثل Int4WeightOnlyConfig، ويمكن لمكتبة transformers تطبيق مثل هذا الإعداد عند تحميل النموذج. يوصي المؤلف بإجراء قياسات للأداء على النموذج بأكمله، لأن الإعداد الصحيح رياضياً ليس بالضرورة الأسرع.
GPTQ و AWQ و GGUF
تستخدم طريقتا GPTQ و AWQ بيانات معايرة لتقليل تأثير أخطاء التكميم على مخرجات النموذج. تقوم GPTQ بتكميم الأوزان طبقة تلو طبقة وتعديل الأوزان المتبقية للتعويض عن الأخطاء السابقة. تعتمد مكتبة transformers الآن على GPT-QModel كمحرك لـ GPTQ. أما AWQ، وهي اختصار لـ تكميم الأوزان الواعي للتفعيل، فتحدد الأوزان المهمة بناءً على تفعيلات تمثيلية، ثم تبحث عن عوامل مقياس تحميها قبل التكميم بدقة منخفضة. لهذه الطريقة، يستخدم البرنامج التعليمي التنفيذ المرجعي llm-awq، والذي يجب اتباع تعليمات تثبيته الخاصة به، ونموذج TinyLlama/TinyLlama-1.1B-Chat-v1.0. يعتمد البحث عن المعلمات على 128 عينة مأخوذة من قسم التحقق من mit-han-lab/pile-val-backup، مُدربة على سلاسل من 512 رمزًا.
يُستخدم تنسيق GGUF، المستخدم في نظام llama.cpp، كحاوية للبيانات الوصفية، ومجزئ الرموز (tokenizer)، والموترات المكممة، لكنه ليس خوارزمية تكميم بحد ذاته. يتدفق العمل في خطوتين: تحويل النموذج الأصلي إلى GGUF عالي الدقة بصيغة bfloat16، ثم التكميم باستخدام النوع Q4_K_M. هذا النوع مختلط، لأنه يستخدم ترميزات مختلفة حسب الموترات. وبالتالي، لا يتطابق حجم ملفه تمامًا مع أربعة بتات لكل معلمة. يذكر البرنامج التعليمي أنه يجب إجراء التكميم من أفضل مصدر متاح، لأن إعادة التكميم تتراكم فيها أخطاء التقريب.
وفقًا للبرنامج التعليمي، يجب أن يركز التقييم على مدخلات تمثيلية، باستخدام الالتباس (perplexity)، والدقة في المهام المستهدفة، ومقارنة النتائج المُولدة جنبًا إلى جنب. يقيس البرنامج النصي المرفق، على وحدة معالجة رسومات CUDA، الذاكرة المخصصة عند الذروة ومدة التوليد المتوسطة للنموذج FP16 وإصدار GPTQ الخاص بـ facebook/opt-125m. يخلص البرنامج التعليمي إلى أن التكميم مفيد فقط إذا عمل التنسيق، والمخطط الرقمي، وترتيب البيانات المضغوطة، ونواة الاستدلال معًا.
