تفوق خمسة وكلاء من نوع Qwen3.8-27B على Fable 5 في اختبار LiveCodeBench Hard، وذلك في إطار سير عمل Memdoor، وفقاً للتقرير المخصص لهذه التجربة. ومع ذلك، فإن النتائج تستند إلى عدد محدود من المشكلات، ويذكر التقرير نفسه عدة تحفظات.
Memdoor هو في الوقت نفسه وكالة ترميز ومنفذ لسير العمل. الوكيل هو برنامج قادر على تنفيذ عدة إجراءات بمفرده. وبالتالي، يمكن لـ Memdoor قراءة الملفات وتعديل الكود وإجراء عمليات التحقق. بالنسبة للمهام المتكررة، يقوم سير العمل بتنسيق خطوات التحقق والمهام المتوازية ومراحل التحقق من الصحة.
درجات تم قياسها على عشرة مشكلات
وفقاً للتقرير، تم اختبار جهاز التقييم الخاص بالمؤلفين، وهو إطار إعادة بناء التقييم بأخذ تعليماتهم وحلقتهم بالضبط، على نفس النموذج، Qwen3.8-27B، مع حد أقصى للاستجابة يبلغ 128K. على أول عشرة مشكلات في القائمة « Hard » الخاصة بـ LiveCodeBench، وهو معيار تقييم للبرمجة، مع خمس محاولات لكل مشكلة، حقق سير العمل متوسط 9.8 من 10. وحصل جهاز المؤلفين على 9.6، بينما حصل Fable 5، باستدعاء واحد فقط، على 8.0.
على مجموعة المشكلات المائة كاملة، يذكر التقرير درجات 92.4 و 90.4، مأخوذة من ملف patched_verdicts.json الخاص بالمؤلفين. تم نشر عمليات التنفيذ الخمسين لسير العمل، مع كل طلب وكل استجابة والبرنامج المنتج ومخرجات المصحح. كُتب سير العمل بتنسيق YAML ولم يحدد أي نموذج. يتم الاستضافة عبر OpenRouter، وليس على جهاز محلي. وفقاً للتقرير، تستغرق عملية التنفيذ الواحدة متوسط زمن قدره 40 دقيقة وتكلف 0.39 دولاراً، أي 35.79 دولاراً للخمسين.
الحدود المذكورة
يؤكد التقرير أولاً على حجم العينة: عشرة مشكلات وخمس محاولات، مقابل المائة الخاصة بالمؤلفين. ويشير إلى أن الفروق بين 9.8 و 9.6 تقع، في رأيه، ضمن هامش الخطأ، وأن التأكيد ينصب على المساواة مع جهاز المؤلفين. كما يذكر احتمال التلوث، حيث تعود المسابقات إلى ربيع 2025: ربما واجه النموذج هذه المشكلات من قبل، وهو أمر غير مستبعد لأي من الأعمدة.
تم تقييم Fable 5 مرة واحدة فقط لكل مشكلة، بناءً على ملفات المؤلفين، ولم يتم تنفيذه في هذا الجهاز. تفحص الحلقة الأمثلة العامة، بينما تتوافق الدرجة مع الاختبارات المخفية. وأخيراً، يلاحظ التقرير قصورين. في إحدى الحالات، اخترع أحد المشرفين مثالاً مضاداً خاطئاً، وقام الفريق بإعادة كتابة برنامج صحيح. وفي مناسبتين أخريين، تعطل برنامج صحيح ثم تم استعادته. يشكل هذان الحالتان، وفقاً للتقرير، قصوراً في حلقة المؤلفين، والتي تم الاحتفاظ بها كما هي.
