يجب على مساعدات الذكاء الاصطناعي أن تعرف كيفية الإجابة على الأسئلة غير المطروحة بشكل صحيح، وليس فقط تلك المصاغة بدقة. يقدم الباحثون XYBench، وهو معيار قياسي (مجموعة اختبارات موحدة لمقارنة النماذج) يضم أكثر من 8000 سؤال، يقيس طريقة تفاعل المساعدات عندما يعتمد الطلب على فكرة خاطئة. حصل العمل على جائزة Best Resource Paper Award في مؤتمر EMNLP 2026.
الحالة التي وصفها المؤلفون هي المشكلة XY: حيث يرغب شخص في تحقيق هدف (X)، ويفترض أن طريقة معينة (Y) ستؤدي إليه، ويطلب المساعدة بشأن تلك الطريقة. مثالهم هو تزحلق التغطية السكرية على الكب كيك. يسعى الشخص إلى تكثيف القشدة، بينما المشكلة الحقيقية هي أن الكعكات لا تزال ساخنة جدًا لتغطيتها بالسكر.
كيف تم بناء المعيار
يعتمد XYBench على 8115 سؤالاً مأخوذة من أربع مصادر: 1557 سؤالاً من Stack Overflow، و184 من Stack Exchange، و102 مثالاً أُعدت يدوياً، و6272 سؤالاً مُنشأة من أدلة WikiHow. لكل سؤال، حدد الباحثون الطلب المطروح (Y) والهدف الحقيقي (X)، الذي يمكن استنتاجه من السياق. بالنسبة للأسئلة من المنتديات، استُخدمت الإجابات البشرية الأعلى تقييماً لتحديد الهدف والحلول الممكنة. بالنسبة لـ WikiHow، أنشأ نموذج Sonnet 4.5 أسئلة حول أفكار خاطئة محتملة، ثم تم تنقيحها.
تُقيّم الإجابات وفق ثلاثة معايير: وجود حلول لـ Y و X، والتركيز على أحد الطلبين، والقدرة على تحويل المستخدم عن الطريقة الخاطئة. الحكم الآلي هو Claude Sonnet 4.5. فحص مراجعان بشريان 500 إجابة، مع متوسط اتفاق بين 97.5% و100% لوجود حل، وبين 84.6% و93.3% لتحديد الفكرة الخاطئة، وبين 74.2% و79.8% للتركيز.
نتائج متباينة
اختبر الباحثون Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro، بسؤال واحد لكل إجابة. وفقاً للدراسة، تقدم جميع النماذج حلاً للطلب المطروح (Y) أكثر مما تقدمه للهدف الحقيقي (X). على Stack Overflow، تظهر حلول لـ Y في 75% إلى 86% من الإجابات، مقابل 59% إلى 71% لتلك التي تستهدف X. ركزت النماذج بشكل أساسي على X في 35% إلى 41% من الحالات، وعلى Y في 47% إلى 57% من الحالات.
في تجربة تسمى « أوراكل »، تتلقى النماذج كلاً من Y وX. عندها يرتفع معدل Claude Sonnet 4.6 في تقديم حل للهدف الحقيقي من 59% إلى 67% على Stack Overflow، لكن معدل تحديده للفكرة الخاطئة ينخفض من 47% إلى 34%. وفقاً للمؤلفين، تقديم النية يساعد دون سد الفجوة بشكل ثابت مع الإجابات البشرية. تجربة ثانية، حيث يجب على ستة نماذج، بما في ذلك GPT-4.1، الاختيار بين إجابتين، تظهر أنها تختار الإجابة المركزة على الهدف في 71% إلى 84% من الحالات. يرى الباحثون في ذلك فجوة بين القدرة على التعرف على النصيحة الجيدة وإنتاجها.
يغطي المعيار حالياً الاستفسارات باللغة الإنجليزية وخاصة المشكلات الإجرائية. يرى المؤلفون أن توسيعه إلى لغات وثقافات وسياقات محادثة أخرى يبقى مجالاً مفتوحاً.
