يتضمن تقييم تطبيق قائم على نموذج لغوي كبير (LLM) اختباره بشكل منهجي، قبل وبعد كل تعديل. يوضح الدليل كيفية اختيار طرق التقييم، وتصميم حكم LLM موثوق، ثم تقييم أنظمة RAG والعوامل طوال دورة النشر.
قراءة بعض الإجابات والرضا عنها لا تكفي. فالتعديل في الـprompt، أو تغيير النموذج، أو البحث في الوثائق قد يعطل سلوكًا ما دون أن يُلاحظ، ويصبح من الصعب بعد ذلك تحديد التغيير المسؤول عن ذلك. التقييم يعني إنشاء حالات اختبار، وتقييم كل إجابة وفق معايير مكتوبة، ثم مقارنة النتائج قبل وبعد كل تغيير، على غرار اختبارات عدم التراجع في الكود التقليدي.
تختلف إجابات LLM من تنفيذ لآخر، ومفهوم « الإجابة الصحيحة » يعتمد على السياق. يتحقق الاختبار الوحدي من المساواة، بينما كل من « يمكنك إرجاع الأحذية خلال 30 يومًا » و »يُقبل الإرجاع خلال شهر من التسليم » إجابتان صحيحتان. يميز الدليل بين التقييم، الذي يقيس جودة نسبية وفق معايير غير واضحة، والاختبارات، التي تحقق من صلاحية النشر للاستخدام عبر ضوابط ثنائية، مثل JSON صالح أو غياب صيغة محظورة. ويرى المؤلف أن منع نشر بناءً على درجة دقة تبلغ 0.7 سيعني الدخول في نقاش أسبوعي حول عتبة اعتباطية.
ثلاث طرق لتقييم إجابة
يتلقى المُقيِّم حالة اختبار، تتكون من مدخلات وإجابة وأحيانًا سياق أو مرجع، ثم يُرجع حكمًا أو رقمًا. تطبق مقيمات الكود قواعد حتمية، للتحقق من التنسيق أو الطول أو وجود سلاسل معينة. أما المقيمات القائمة على المرجع فتقارن الإجابة بإجابة معروفة. ولا تتعرف مقاييس التداخل مثل BLEU وROUGE، على سبيل المثال، على إعادة الصياغة الصحيحة. وأخيرًا، حكم LLM هو نموذج مكلف بتطبيق شبكة معايير على إجابة نموذج آخر، وهو مفيد لتقييم النبرة أو الترسيخ في المصادر أو الفائدة.
يوصي الدليل بالبدء بالكود في كل مكان تكفي فيه القاعدة، لأن هذه المقيمات لا تكلف شيئًا وتعطي دائمًا نفس النتيجة. ويصف ثلاث إعدادات للحكم: الحكم الفوري، حيث يعطي تسمية أو درجة لإجابة منعزلة؛ والحكم بالمقارنة الزوجية، حيث يختار الأفضل من إجابتين، وهي طريقة شائعة لمقارنة promptين أو نموذجين؛ والحكم الموجه بالمرجع، عندما يتوفر لديه إجابة مرجعية.
جعل الحكم موثوقًا
تقرر شبكة المعايير المكتوبة جيدًا جودة الحكم. يصفها الدليل في أربعة أجزاء: تعريف المعيار، البيانات التي يمكن للحكم استخدامها، الإجراء المتبع، وتنسيق إخراج صارم، ويفضل أن يكون JSON. يجب أن يسبق المنطق الحكم، ويُضبط معامل العشوائية (temperature) على 0 لتقليل ضوضاء أخذ العينات، دون إزالتها تمامًا. للمعايير الحساسة، يقترح الدليل عددًا فرديًا من عمليات التنفيذ واعتماد الحكم الأغلبية.
تطلب طريقة QAG (توليد الأسئلة والإجابات) من الحكم الإجابة على أسئلة مغلقة بنعم أو لا، ثم يقوم الكود بالحساب. وبالتالي تكون درجة دقة إجابة مكونة من أربع ادعاءات، ثلاثة منها مدعومة، هي 0.75. للمعايير الذاتية، تحسب طريقة G-Eval متوسطًا مرجحًا لاحتمالات الدرجات الممكنة، بحيث يحصل نموذج منقسم 60/40 بين 4 و5 على 4.4. هناك تحيزات موثقة في أبحاث حول الحكم على مخرجات LLM: تحيز الموضع، وتحيز الإسهاب، وتحيز تفضيل الذات للنماذج من نفس العائلة. يقترح الدليل عكس ترتيب الإجابات، واختبار حالات ذات طول مماثل، واستخدام حكم من عائلة نماذج مختلفة.
يبقى المعايرة أهم خطوة. ينصح الدليل بوضع تسميات يدوية لـ 30 إلى 50 إجابة، ثم مقارنة هذه التسميات مع تسميات الحكم باستخدام كابا كوهين، الذي يصحح الاتفاق الناتج عن الصدفة. درجة 0 تعني اتفاقًا بمستوى الصدفة، و1 تعني اتفاقًا تامًا. بعد حوالي 0.6، يُعتبر الاتفاق ذا أهمية عادة.
RAG والعوامل ودورة النشر
يجمع نظام RAG (التوليد المعزز بالاسترجاع) بين مكونين قد يفشلان بشكل منفصل: محرك البحث، الذي يسترجع السياق، والمولد، الذي يصوغ الإجابة. يقترح الدليل قياس دقة السياق، واستدعائه، ومدى دقة الإجابة للوثائق المسترجعة، وملاءمتها للسؤال. على سبيل المثال، تشير الدقة العالية مع الاستدعاء المنخفض إلى بحث غير كافٍ.
بالنسبة للعوامل، يبدأ الدليل بإنجاز المهمة، ثم يفحص دقة الأداة المختارة، ودقة وسيطاتها، والمسار المتبع، دون استدعاءات زائدة عن الحاجة أو حلقات تكرارية. تُجرى التقييمات غير المتصلة قبل النشر، على مجموعة من 25 إلى 50 حالة مُتحكم في إصداراتها، مع معايير نشر محددة مسبقًا. أما التقييمات المتصلة فتتم على عينة من حركة المرور الفعلية. ويمكن أن يصبح كل فشل يُلاحظ في مرحلة الإنتاج لاحقًا حالة اختبار مرجعية.
