تقدم Microsoft و Hugging Face طريقة ThinkingBox-Training، التي تستخدم الحالة النهائية لقاعدة البيانات كإشارة مكافأة لتدريب وكلاء الذكاء الاصطناعي. عند تطبيقها على النموذج Qwen3.8-27B، رفعت متوسط معدل النجاح من 51.70% إلى 60.78%، وفقًا للمؤلفين، وزادت عدد المهام الناجحة في كل محاولة من 38 إلى 107. الكود متاح على GitHub.
يُستخدم ThinkingBox أولاً لتقييم عمل الوكيل من خلال مقارنة الحالة النهائية لقاعدة البيانات مع النتيجة المتوقعة. تبدأ كل واحدة من المهام الـ 507 في ThinkingBox-Bench خلفية حقيقية ومجموعة أدوات، ثم تترك الوكيل يعمل، ثم تتحقق مما تغير فعليًا. يُرجع هذا النوع من التحقق 1 أو 0 بناءً على الحالة النهائية، وهو ما يمكن أيضًا استخدامه كمكافأة للتدريب.
التحدي الرئيسي يكمن في اختيار مهام التدريب. باستخدام طريقة GRPO، فإن مجموعة من ثماني محاولات تفشل جميعها، أو تنجح جميعها، لا توفر أي تباين للتعلم منه. لذلك، قام المؤلفون بتقدير، مرة واحدة، احتمالية نجاح كل مهمة باستخدام النموذج الأساسي، ثم احتفظوا بالمهام التي تنجح من وقت لآخر. يطلقون على هذا المفهوم مصطلح «الصعوبة النسبية للسياسة غير المتصلة»، حيث تشير السياسة هنا إلى النموذج المدرب. تحتوي مجموعة التدريب النهائية على 187 مهمة.
مكاسب في انتظام النجاحات
بعد 50 خطوة من GRPO، تم تقييم النموذج على المهام الـ 507 في ThinkingBox-Bench، والتي لم يشاهدها أثناء التدريب. يتم تكرار كل مهمة 20 مرة، أي ما مجموعه 10,140 محاولة. يرتفع عدد المهام الناجحة في كل محاولة من 38 (7.50%) إلى 107 (21.10%)، بينما ينخفض عدد المهام الناجحة مرة واحدة على الأقل قليلاً، من 453 (89.35%) إلى 446 (87.97%).
يستخلص المؤلفون قراءة دقيقة من ذلك: النموذج لم يصبح أوسع، بل أصبح أكثر انتظامًا. ويستشهدون بمثال طلب تخفيض فئة غرفة الفندق، الذي يتطلب موافقة مسبقة من المدير. قبل التدريب، قام الوكيل بتعديل الحجز وإصدار استردادات دون هذه الموافقة في 15 محاولة من أصل 20. بعد التدريب، حافظ على حالة الحجز والدفع في جميع المحاولات العشرين.
تكلفة مقدرة لكل مهمة موثوقة
يُقدر المؤلفون أيضًا تكلفة هذا الانتظام. وفقًا لتقديرهم، تنخفض تكلفة حملة الـ 20 جولة من 925.80 دولارًا إلى 855.58 دولارًا، أي انخفاض بنسبة 7.6%. بالنسبة للمهام الناجحة في كل محاولة، تنخفض التكلفة لكل مهمة موثوقة من 24.36 دولارًا إلى 8.00 دولار. هذه المبالغ هي مؤشر خدمة مقارن، وليست فاتورة فعلية، لأنها لا تأخذ في الاعتبار تكلفة التدريب.
تم إجراء التدريب المرجعي على 24 وحدة معالجة رسومات H100، مع 18 مجموعة من 8 محاولات لكل تحديث، أي 144 حلقة. يؤكد المؤلفون أن التقييم والتدريب يجب أن يفسرا مخرجات النموذج بنفس الطريقة، وإلا فإن المكافأة تقيس وكيلًا مختلفًا عن الذي يتم تقييمه. المستودع المنشور على GitHub يحتوي على أدوات اختيار البيانات، وتوليد المحاولات، وحساب المكافأة، والتكامل مع Verl.
