النماذج المتخصصة، التي يتم الحصول عليها من خلال ضبط نماذج مفتوحة المصدر عامة مثل Qwen أو Gemma، ترث مفردات مصممة لمجالات عديدة. وفقاً لـ Dharma AI، فإن طريقة تسمى VocabX، والتي تعيد بناء هذه المفردات بناءً على تكلفة كل رمز (token)، مكنت من تخفيض تكلفة الاستدلال بنسبة 77% كما تم قياسها على مصحح مقالات في بيئة إنتاجية، دون تعديل النموذج الأساسي.
هذا المصحح الآلي، المبني على Qwen3-4B، يقوم بتقييم مقالات باللغة البرتغالية. يستقبل المقالة والموضوع والنصوص الداعمة، ثم يعيد تقييماً بصيغة JSON، مع درجة وتعليق لكل مهارة. النموذج، الذي يحتوي على 4 مليارات معلمة، كان قد تم تدريبه بالفعل لهذه المهمة، لكنه احتفظ بأداة الترميز (tokenizer) الأصلية، أي الأداة التي تقسم النص إلى رموز (tokens)، وهي الوحدات التي يقرأها ويكتبها النموذج. كانت أداة الترميز هذه مخصصة للعديد من اللغات وأنواع النصوص.
لتطبيق ضيق كهذا، كان هذا الاختيار يولد نوعين من التكاليف الإضافية. من ناحية، العناصر التي تتكرر باستمرار، مثل غلاف JSON أو أسماء المهارات، كانت تقسم إلى عدة رموز حيث كان يمكن لرمز واحد أن يكفي. ومن ناحية أخرى، مع كل رمز يتم توليده، كان النموذج يحسب درجة لـ 151,669 مدخلة في المفردات، وكثير منها لا يُستخدم تقريباً في المهمة.
الكتابة تكلف أكثر من القراءة
أثناء الاستدلال، مرحلة التوليد هي الأكثر تكلفة. في الحالة المقاسة، الرمز المُولد يكلف 7.4 مرة أكثر من الرمز المقروء، لكن هذه النسبة تختلف حسب العتاد، والمشكلة، وحجم دفعات الطلبات، وطول السياق. بعد تقليص المفردات، انتقلت طبقة الإخراج للمصحح من حوالي 152,000 إلى حوالي 65,000 سطر.
VocabX لا تختار الرموز بناءً على تكرارها، كما تفعل عدة طرق مرجعية، بما في ذلك توسيع أداة الترميز في مكانها. كل رمز يتم حذفه يُوزن حسب سعر المجال الذي يظهر فيه: موجه النظام، رسالة المستخدم، أو رد النموذج. في حالة المصحح، الرمز المُوفر في الرد يساوي إذن 7.4 مرة الرمز المُوفر في المدخلات.
عينة لا ترى كل شيء
تعتمد الطريقة أيضاً على خمس أدوات للبحث عن التسلسلات المتكررة، كل منها متخصص في نوع من التكرار: كلمات طويلة، أسطر كاملة، تعبيرات، جمل كاملة، أو هياكل منقطة مثل JSON. وفقاً للمقال، بدون هذه الأدوات الخمس، سينخفض تخفيض الرموز على المصحح بمقدار 55.6 نقطة.
تقييم كل مرشح على كامل المجموعة النصية سيكون مكلفاً جداً. لذلك يقيس المؤلفون على عينة، لكن تعبيراً يظهر 37 مرة في 50,000 وثيقة لا يظهر إلا في حوالي 26% من العينات المكونة من 400 وثيقة. للمرشحين الغائبين عن العينة، تستخدم VocabX تقديراً إحصائياً بدلاً من قيمة صفرية. على مجموعة نصوص عقود، هذا التغيير وحده رفع تخفيض الرموز من 44.7% إلى 52.8%، مع نفس العينة ونفس الميزانية.
نتائج مقاسة على المصحح
لقياس التأثير الفعلي، تم تدريب سبع نسخ من المصحح بنفس النموذج، ونفس البيانات، ونفس الإعدادات، مع تغيير أداة الترميز فقط. تم تنفيذ 500 طلب اختبار على بطاقة RTX 5090 مع خادم الاستدلال vLLM. متوسط الرد انتقل من 350 إلى 101 رمز، انخفضت التكلفة بنسبة 77.0%، وارتفع درجة المعيار المرجعي، التي تجمع دقة الدرجات ودقة تصفية النصوص غير ذات الصلة أو غير المطابقة، من 0.703 إلى 0.810.
نسخة أولى، كانت تدمج درجة كل مهارة مع JSON المحيط، كانت أكثر إحكاما لكن أقل دقة، بدرجة 0.689. إعطاء الدرجة رمزها الخاص أضاف 2 رمز لكل رد، مع تحسين الدرجة وتخفيض التكلفة بنسبة 77.0%، مقابل 73.3% للنسخة المدمجة. يستخلص المؤلفون درساً: للضغط ثمن عندما يشمل القرار نفسه الذي يجب على النموذج اتخاذه.
على خمسة مجالات عامة وثلاث عائلات من النماذج، قللت VocabX عدد الرموز أكثر من أفضل طريقة مرجعية في الخمسة عشر تركيبة المختبرة، بفارق من 1.2 إلى 9.3 نقطة. الأرقام المعروضة تأتي من النسخة الحالية للمقال، التي لا تزال قيد التقييم، وقد تتغير قبل النشر. المقال الكامل من المقرر أن يصدر قريباً.
