XYBench hilft, das Problem hinter der Frage zu behandeln

XYBench hilft, das Problem hinter der Frage zu behandeln
3 Minuten Lesezeit

KI-Assistenten müssen auch in der Lage sein, schlecht gestellte Fragen zu beantworten, nicht nur präzise formulierte. Forscher stellen XYBench vor, einen Benchmark (standardisierter Test zur Modellvergleich) mit über 8.000 Fragen, der misst, wie Assistenten reagieren, wenn eine Anfrage auf einer falschen Annahme basiert. Die Arbeit erhielt den Best Resource Paper Award auf der Konferenz EMNLP 2026.

Der von den Autoren beschriebene Fall ist das XY-Problem: Eine Person möchte ein Ziel (X) erreichen, nimmt an, dass eine bestimmte Methode (Y) dazu führt, und bittet um Hilfe für diese Methode. Ihr Beispiel ist Zuckerguss, der von Cupcakes rutscht. Die Person möchte die Creme eindicken, während das eigentliche Problem darin besteht, dass die Kuchen noch zu heiß zum Glasieren sind.

Wie der Benchmark aufgebaut wurde

XYBench basiert auf 8.115 Fragen aus vier Quellen: 1.557 Fragen von Stack Overflow, 184 von Stack Exchange, 102 manuell erstellte Beispiele und 6.272 aus WikiHow-Anleitungen generierte Fragen. Für jede Frage identifizierten die Forscher die gestellte Anfrage (Y) und das eigentliche Ziel (X), das aus dem Kontext abgeleitet werden kann. Für Fragen aus Foren dienten die am besten bewerteten menschlichen Antworten dazu, Ziel und mögliche Lösungen festzulegen. Für WikiHow generierte das Modell Sonnet 4.5 Fragen um plausible Missverständnisse, die dann verfeinert wurden.

Die Antworten werden nach drei Kriterien bewertet: das Vorhandensein von Lösungen für Y und für X, die Betonung auf der einen oder anderen Anfrage und die Fähigkeit, den Nutzer von der falschen Methode abzubringen. Der automatische Bewerter ist Claude Sonnet 4.5. Zwei menschliche Gutachter prüften 500 Antworten, mit einer durchschnittlichen Übereinstimmung zwischen 97,5 % und 100 % für das Vorhandensein einer Lösung, zwischen 84,6 % und 93,3 % für die Identifizierung des Missverständnisses und zwischen 74,2 % und 79,8 % für die Betonung.

Gegensätzliche Ergebnisse

Die Forscher testeten Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B und DeepSeek-V4 Pro mit einer einzigen Frage pro Antwort. Laut der Studie schlagen alle Modelle häufiger eine Lösung für die gestellte Anfrage (Y) vor als für das eigentliche Ziel (X). Bei Stack Overflow erscheinen Lösungen für Y in 75 bis 86 % der Antworten, verglichen mit 59 bis 71 % für solche, die auf X abzielen. Die Modelle betonen X hauptsächlich in 35 bis 41 % der Fälle und Y in 47 bis 57 % der Fälle.

In einem sogenannten « Oracle »-Experiment erhalten die Modelle sowohl Y als auch X. Die Rate von Claude Sonnet 4.6, eine Lösung für das eigentliche Ziel vorzuschlagen, steigt dann von 59 % auf 67 % bei Stack Overflow, aber seine Rate zur Identifizierung des Missverständnisses sinkt von 47 % auf 34 %. Laut den Autoren hilft die Angabe der Absicht, schließt aber die Lücke zu menschlichen Antworten nicht durchgängig. Ein zweites Experiment, bei dem sechs Modelle, darunter GPT-4.1, zwischen zwei Antworten wählen müssen, zeigt, dass sie in 71 bis 84 % der Fälle die zielorientierte Antwort wählen. Die Forscher sehen darin eine Diskrepanz zwischen dem Erkennen eines guten Rats und dessen Erzeugung.

Der Benchmark deckt derzeit englischsprachige Anfragen und vor allem prozedurale Probleme ab. Seine Erweiterung auf andere Sprachen, Kulturen und Konversationskontexte bleibt laut den Autoren ein offenes Feld.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x