Gli assistenti di intelligenza artificiale devono saper rispondere anche a domande mal poste, non solo a quelle formulate con precisione. Dei ricercatori presentano XYBench, un benchmark (set di test standardizzato per confrontare i modelli) di oltre 8.000 domande, che misura il modo in cui gli assistenti reagiscono quando una richiesta si basa su un’idea sbagliata. Il lavoro ha ricevuto il Best Resource Paper Award alla conferenza EMNLP 2026.
Il caso descritto dagli autori è quello del problema XY: una persona vuole raggiungere un obiettivo (X), suppone che un dato metodo (Y) permetta di raggiungerlo, e chiede aiuto su quel metodo. Il loro esempio è quello della glassa che scivola sui cupcake. La persona cerca di addensare la crema, mentre il vero problema è che le tortine sono ancora troppo calde per essere glassate.
Come è stato costruito il benchmark
XYBench si basa su 8.115 domande tratte da quattro fonti: 1.557 domande da Stack Overflow, 184 da Stack Exchange, 102 esempi elaborati manualmente e 6.272 domande generate da guide WikiHow. Per ogni domanda, i ricercatori hanno identificato la richiesta formulata (Y) e l’obiettivo reale (X), che si può dedurre dal contesto. Per le domande provenienti dai forum, le risposte umane meglio valutate hanno servito a stabilire l’obiettivo e le soluzioni possibili. Per WikiHow, il modello Sonnet 4.5 ha generato domande attorno a idee ricevute plausibili, prima di essere affinate.
Le risposte sono valutate secondo tre criteri: la presenza di soluzioni per Y e per X, l’enfasi posta sull’una o sull’altra richiesta, e la capacità di distogliere l’utente dal metodo errato. Il giudice automatico è Claude Sonnet 4.5. Due revisori umani hanno esaminato 500 risposte, con un accordo medio compreso tra il 97,5% e il 100% per la presenza di una soluzione, tra l’84,6% e il 93,3% per l’identificazione dell’idea sbagliata, e tra il 74,2% e il 79,8% per l’enfasi.
Risultati contrastanti
I ricercatori hanno testato Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro, con una sola domanda per risposta. Secondo lo studio, tutti i modelli propongono più spesso una soluzione alla richiesta formulata (Y) che all’obiettivo reale (X). Su Stack Overflow, le soluzioni per Y appaiono nel 75-86% delle risposte, contro il 59-71% per quelle che mirano a X. I modelli mettono soprattutto l’enfasi su X nel 35-41% dei casi, e su Y nel 47-57% dei casi.
In un esperimento detto « oracolo », i modelli ricevono sia Y che X. Il tasso di Claude Sonnet 4.6 nel proporre una soluzione per l’obiettivo reale passa allora dal 59% al 67% su Stack Overflow, ma il suo tasso di identificazione dell’idea sbagliata scende dal 47% al 34%. Secondo gli autori, fornire l’intenzione aiuta senza colmare, in modo costante, il divario con le risposte umane. Un secondo esperimento, in cui sei modelli, incluso GPT-4.1, devono scegliere tra due risposte, mostra che essi scelgono la risposta centrata sull’obiettivo nel 71-84% dei casi. I ricercatori vi vedono un divario tra il riconoscere un buon consiglio e il produrlo.
Il benchmark copre per ora le richieste in inglese e soprattutto problemi procedurali. La sua estensione ad altre lingue, culture e contesti conversazionali rimane, secondo gli autori, una pista aperta.
