لتخصيص نموذج لغوي كبير (LLM) على مجال محدد، يتلخص النهج الكلاسيكي في fine-tuner، أي مواصلة تدريبه على مجموعة بيانات محددة. يقارن برنامج تعليمي هذه الطريقة بحل أخف وزنًا: الاحتفاظ بالنموذج مجمدًا وتدريب مصنف صغير فقط يوضع في الأعلى. في مهمة تصنيف مقالات صحفية، حققت الاستراتيجية الأولى أفضل دقة، لكنها تتطلب وقتًا أطول بكثير.
تعتمد الاستراتيجية الأولى على LoRA (Low-Rank Adaptation)، وهي خوارزمية تجمد الأوزان المدربة مسبقًا للنموذج وتضيف إليها مصفوفات تكيف صغيرة قابلة للتدريب. تمثل هذه المصفوفات عادة 1 إلى 2٪ من حجم النموذج. يستخدم البرنامج التعليمي نسخة مُكمّنة، تسمى QLoRA، تحافظ على النموذج بدقة 4 بت لتوفير الذاكرة. الاستراتيجية الثانية، المسماة embeddings figées، تتعلق باستخدام LLM فقط كمستخرج للميزات. يتم تحويل كل نص إلى متجه رقمي، يُسمى embedding، من الطبقة المخفية الأخيرة للنموذج، ثم تُستخدم هذه المتجهات لتدريب مصنف تقليدي: غابة عشوائية (random forest) مكونة من 100 شجرة، من مكتبة scikit-learn.
أُجريت التجارب على Google Colab، باستخدام وحدة معالجة رسومية T4. النموذج المستخدم هو Qwen/Qwen2.5-1.5B، ومجموعة البيانات هي ag_news، التي تجمع مقالات إخبارية مصنفة في أربع فئات. لكي تظل المقارنة سريعة، يعمل المؤلفون على مجموعة فرعية مكونة من 800 مقالة تدريب و200 مقالة اختبار.
نتائج متباينة
مع استراتيجية embeddings figées، يستغرق استخراج المتجهات 96,5 ثانية، وتدريب المصنف فقط 2,866 ثانية. تصل الدقة إلى 82,0 % على مجموعة الاختبار. يسلط البرنامج التعليمي الضوء على أن معظم الوقت مخصص لاستخراج الميزات، بينما يكون تدريب المصنف شبه فوري.
تُظهر استراتيجية LoRA دقة تبلغ 87,0 %، مقابل تدريب استغرق 300,3 ثانية. لذا فإن تحسين الدقة له ثمن: وفقًا للبرنامج التعليمي، استغرق العملية بأكملها ثلاثة أضعاف الوقت، وقد يصبح هذا الفارق أكثر وضوحًا بشكل ملحوظ مع مجموعات بيانات أكبر.
متى نفضل إحداهما على الأخرى
يوصي المؤلفون بـ embeddings figées عندما يكون الهدف هو تدريب سريع وحمل حسابي منخفض، مع تجنب الإفراط في تدريب النموذج الأساسي. من ناحية أخرى، يفرض fine-tuning باستخدام QLoRA نفسه عندما يكون تقليل فجوة الدقة أمرًا حاسمًا للمجال المستهدف، أو عندما يحتاج النموذج إلى تعلم تفاصيل محددة متجذرة بعمق في هذا المجال.
يتغير المنطق بالنسبة للمهام التوليدية البحتة، مثل إنتاج النص أو الكود، حيث يكون تكييف النموذج، على سبيل المثال عن طريق fine-tuning، ضروريًا عادةً للحصول على سلوكيات متخصصة. ومع ذلك، يلاحظ البرنامج التعليمي أن embeddings figées يمكن أن تشكل بديلاً قابلاً للتطبيق لبعض الاستخدامات التوليدية في النشرات المجانية، عندما تكون الأداء الأقصى معيارًا قابلاً للتفاوض قليلاً.
