AIアシスタントは、正確に表現された質問だけでなく、不適切に表現された質問にも答えられる必要がある。研究者らは、8,000以上の質問からなるベンチマーク「XYBench」を発表した。これは、要求が誤った前提に基づいている場合に、アシスタントがどのように反応するかを測定するものだ。この研究はEMNLP 2026カンファレンスでBest Resource Paper Awardを受賞した。
著者らが説明するのは「XY問題」のケースだ。ある人が目標(X)を達成したいと考え、特定の方法(Y)でそれが可能だと仮定し、その方法について助けを求める。彼らの例は、カップケーキのアイシングが滑り落ちるというものだ。その人はクリームを固めようとするが、真の問題はケーキがまだアイシングをするには熱すぎるということにある。
ベンチマークの構築方法
XYBenchは、4つのソースから抽出した8,115の質問に基づいている:Stack Overflowからの1,557問、Stack Exchangeからの184問、手作業で作成した102の例、WikiHowガイドから生成された6,272問。各質問について、研究者は明示された要求(Y)と、文脈から推測できる真の目的(X)を特定した。フォーラムからの質問については、高評価の人間による回答が、目的と可能な解決策を確立するために使用された。WikiHowについては、Sonnet 4.5モデルが、もっともらしい誤解に基づく質問を生成し、その後、改良された。
回答は3つの基準で評価される:YとXに対する解決策の提示、どちらの要求に重点を置いているか、ユーザーを誤った方法から遠ざける能力。自動判定にはClaude Sonnet 4.5が使用された。2人の人間の評価者が500の回答を検討し、解決策の提示については平均97.5%から100%、誤解の特定については84.6%から93.3%、重点の置き方については74.2%から79.8%の一致率を示した。
対照的な結果
研究者らは、Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proを、1問1答形式でテストした。研究によると、すべてのモデルは、真の目的(X)よりも、明示された要求(Y)に対する解決策をより頻繁に提案する。Stack Overflowでは、Yに対する解決策は回答の75%から86%に現れたのに対し、Xを対象とした解決策は59%から71%だった。モデルがXに重点を置いたのは35%から41%、Yに重点を置いたのは47%から57%だった。
いわゆる「オラクル」実験では、モデルはYとXの両方を受け取る。すると、Claude Sonnet 4.6が真の目的に対する解決策を提案する割合は、Stack Overflowで59%から67%に上昇したが、誤解を特定する割合は47%から34%に低下した。著者らによれば、意図を提供することは助けにはなるが、人間の回答とのギャップを一貫して埋めるものではない。GPT-4.1を含む6つのモデルが2つの回答から選択する必要がある第2の実験では、モデルは71%から84%のケースで目的中心の回答を選択した。研究者らは、良いアドバイスを認識することと、それを生成することの間にギャップがあると見ている。
このベンチマークは現在、英語のクエリと主に手順的な問題をカバーしている。他の言語、文化、会話コンテキストへの拡張は、著者らによれば、まだ開かれた課題である。
