XYBench helpt het probleem achter de vraag te behandelen

XYBench helpt het probleem achter de vraag te behandelen

AI-assistenten moeten ook weten hoe ze slecht gestelde vragen moeten beantwoorden, niet alleen die welke precies geformuleerd zijn. Onderzoekers presenteren XYBench, een benchmark (gestandaardiseerde testset om modellen te vergelijken) van meer dan 8.000 vragen, die meet hoe assistenten reageren wanneer een verzoek berust op een misvatting. Het werk ontving de Best Resource Paper Award op de EMNLP 2026-conferentie.

Het door de auteurs beschreven geval is het XY-probleem: een persoon wil een doel (X) bereiken, neemt aan dat een bepaalde methode (Y) dit mogelijk maakt, en vraagt hulp over die methode. Hun voorbeeld is glazuur dat van cupcakes glijdt. De persoon zoekt naar manieren om de room te verdikken, terwijl het werkelijke probleem is dat de cakes nog te warm zijn om te glazuren.

Hoe de benchmark werd opgebouwd

XYBench is gebaseerd op 8.115 vragen afkomstig uit vier bronnen: 1.557 vragen van Stack Overflow, 184 van Stack Exchange, 102 handmatig opgestelde voorbeelden en 6.272 vragen gegenereerd uit WikiHow-gidsen. Voor elke vraag identificeerden de onderzoekers het geformuleerde verzoek (Y) en het werkelijke doel (X), dat uit de context kan worden afgeleid. Voor vragen uit forums dienden de hoogst gewaardeerde menselijke antwoorden om het doel en mogelijke oplossingen vast te stellen. Voor WikiHow genereerde het Sonnet 4.5-model vragen rond plausibele misvattingen, die vervolgens werden verfijnd.

Antwoorden worden beoordeeld op drie criteria: de aanwezigheid van oplossingen voor Y en voor X, de nadruk op het ene of het andere verzoek, en het vermogen om de gebruiker van de verkeerde methode af te leiden. De automatische beoordelaar is Claude Sonnet 4.5. Twee menselijke beoordelaars bekeken 500 antwoorden, met een gemiddelde overeenstemming tussen 97,5% en 100% voor de aanwezigheid van een oplossing, tussen 84,6% en 93,3% voor het identificeren van de misvatting, en tussen 74,2% en 79,8% voor de nadruk.

Gemengde resultaten

De onderzoekers testten Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B en DeepSeek-V4 Pro, met één vraag per antwoord. Volgens de studie bieden alle modellen vaker een oplossing voor het geformuleerde verzoek (Y) dan voor het werkelijke doel (X). Op Stack Overflow verschijnen oplossingen voor Y in 75% tot 86% van de antwoorden, tegenover 59% tot 71% voor die gericht op X. De modellen leggen vooral de nadruk op X in 35% tot 41% van de gevallen, en op Y in 47% tot 57% van de gevallen.

In een zogenaamd ‘orakel’-experiment krijgen de modellen zowel Y als X aangeboden. Het percentage van Claude Sonnet 4.6 dat een oplossing voor het werkelijke doel voorstelt, stijgt dan van 59% naar 67% op Stack Overflow, maar het percentage voor het identificeren van de misvatting daalt van 47% naar 34%. Volgens de auteurs helpt het verstrekken van de intentie, maar vult het de kloof met menselijke antwoorden niet consistent op. Een tweede experiment, waarbij zes modellen, waaronder GPT-4.1, tussen twee antwoorden moeten kiezen, toont dat ze het op het doel gerichte antwoord in 71% tot 84% van de gevallen selecteren. De onderzoekers zien hierin een kloof tussen het herkennen van goed advies en het produceren ervan.

De benchmark behandelt voorlopig Engelstalige verzoeken en vooral procedurele problemen. De uitbreiding naar andere talen, culturen en gesprekscontexten blijft volgens de auteurs een open mogelijkheid.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x