Les assistants d’intelligence artificielle doivent aussi savoir répondre à des questions mal posées, et pas seulement à celles qui sont formulées avec précision. Des chercheurs présentent XYBench, un benchmark (jeu de tests standardisé permettant de comparer des modèles) de plus de 8 000 questions, qui mesure la façon dont les assistants réagissent lorsqu’une demande repose sur une idée fausse. Le travail a reçu le Best Resource Paper Award à la conférence EMNLP 2026.
Le cas décrit par les auteurs est celui du problème XY : une personne veut atteindre un objectif (X), suppose qu’une méthode donnée (Y) permettra d’y parvenir, et demande de l’aide sur cette méthode. Leur exemple est celui de glaçage qui glisse sur des cupcakes. La personne cherche à épaissir la crème, alors que le véritable problème est que les gâteaux sont encore trop chauds pour être glacés.
Comment le benchmark a été construit
XYBench s’appuie sur 8 115 questions tirées de quatre sources : 1 557 questions de Stack Overflow, 184 de Stack Exchange, 102 exemples élaborés manuellement et 6 272 questions générées à partir de guides WikiHow. Pour chaque question, les chercheurs ont identifié la demande formulée (Y) et l’objectif réel (X), que l’on peut déduire du contexte. Pour les questions issues des forums, les réponses humaines les mieux notées ont servi à établir l’objectif et les solutions possibles. Pour WikiHow, le modèle Sonnet 4.5 a généré des questions autour d’idées reçues plausibles, avant d’être affinées.
Les réponses sont évaluées selon trois critères : la présence de solutions à Y et à X, l’accent mis sur l’une ou l’autre demande, et la capacité à détourner l’utilisateur de la méthode erronée. Le juge automatique est Claude Sonnet 4.5. Deux relecteurs humains ont examiné 500 réponses, avec un accord moyen compris entre 97,5 % et 100 % pour la présence d’une solution, entre 84,6 % et 93,3 % pour l’identification de l’idée fausse, et entre 74,2 % et 79,8 % pour l’accent mis.
Des résultats contrastés
Les chercheurs ont testé Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro, en une seule question par réponse. Selon l’étude, tous les modèles proposent plus souvent une solution à la demande formulée (Y) qu’à l’objectif réel (X). Sur Stack Overflow, les solutions à Y apparaissent dans 75 à 86 % des réponses, contre 59 à 71 % pour celles qui visent X. Les modèles mettent surtout l’accent sur X dans 35 à 41 % des cas, et sur Y dans 47 à 57 % des cas.
Dans une expérience dite « oracle », les modèles reçoivent à la fois Y et X. Le taux de Claude Sonnet 4.6 à proposer une solution à l’objectif réel passe alors de 59 % à 67 % sur Stack Overflow, mais son taux d’identification de l’idée fausse baisse de 47 % à 34 %. Selon les auteurs, fournir l’intention aide sans combler, de manière constante, l’écart avec les réponses humaines. Une seconde expérience, où six modèles, dont GPT-4.1, doivent choisir entre deux réponses, montre qu’ils retiennent la réponse centrée sur l’objectif dans 71 à 84 % des cas. Les chercheurs y voient un écart entre reconnaître un bon conseil et le produire.
Le benchmark couvre pour l’instant les requêtes en anglais et surtout des problèmes procéduraux. Son extension à d’autres langues, cultures et contextes conversationnels reste, selon les auteurs, une piste ouverte.
