XYBench ajuda a resolver o problema subjacente à questão

XYBench ajuda a resolver o problema subjacente à questão
3 min de leitura

Os assistentes de inteligência artificial também precisam de saber responder a perguntas mal formuladas, e não apenas às que são precisas. Investigadores apresentam XYBench, um benchmark (conjunto de testes padronizado para comparar modelos) com mais de 8.000 perguntas, que mede a forma como os assistentes reagem quando um pedido se baseia numa ideia errada. O trabalho recebeu o Best Resource Paper Award na conferência EMNLP 2026.

O caso descrito pelos autores é o do problema XY: uma pessoa quer atingir um objetivo (X), supõe que um determinado método (Y) o permitirá alcançar e pede ajuda sobre esse método. O exemplo dado é o do glacê que escorrega de cupcakes. A pessoa procura engrossar o creme, quando o verdadeiro problema é que os bolos ainda estão demasiado quentes para serem glaceados.

Como foi construído o benchmark

O XYBench baseia-se em 8.115 perguntas retiradas de quatro fontes: 1.557 perguntas do Stack Overflow, 184 do Stack Exchange, 102 exemplos elaborados manualmente e 6.272 perguntas geradas a partir de guias WikiHow. Para cada pergunta, os investigadores identificaram o pedido formulado (Y) e o objetivo real (X), que pode ser deduzido do contexto. Para as perguntas dos fóruns, as respostas humanas mais bem classificadas serviram para estabelecer o objetivo e as soluções possíveis. Para o WikiHow, o modelo Sonnet 4.5 gerou perguntas sobre ideias plausíveis, antes de serem refinadas.

As respostas são avaliadas segundo três critérios: a presença de soluções para Y e para X, o foco numa ou noutra solicitação e a capacidade de desviar o utilizador do método errado. O juiz automático é o Claude Sonnet 4.5. Dois revisores humanos examinaram 500 respostas, com uma concordância média entre 97,5% e 100% para a presença de uma solução, entre 84,6% e 93,3% para a identificação da ideia errada e entre 74,2% e 79,8% para o foco.

Resultados contrastantes

Os investigadores testaram o Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro, com uma única pergunta por resposta. Segundo o estudo, todos os modelos propõem mais frequentemente uma solução para o pedido formulado (Y) do que para o objetivo real (X). No Stack Overflow, as soluções para Y aparecem em 75% a 86% das respostas, contra 59% a 71% para as que visam X. Os modelos focam-se principalmente em X em 35% a 41% dos casos, e em Y em 47% a 57% dos casos.

Numa experiência designada «oráculo», os modelos recebem simultaneamente Y e X. A taxa do Claude Sonnet 4.6 para propor uma solução para o objetivo real passa então de 59% para 67% no Stack Overflow, mas a sua taxa de identificação da ideia errada desce de 47% para 34%. Segundo os autores, fornecer a intenção ajuda, mas não preenche, de forma consistente, a diferença para as respostas humanas. Uma segunda experiência, em que seis modelos, incluindo o GPT-4.1, têm de escolher entre duas respostas, mostra que eles retêm a resposta focada no objetivo em 71% a 84% dos casos. Os investigadores veem aqui uma discrepância entre reconhecer um bom conselho e produzi-lo.

O benchmark cobre, por enquanto, pedidos em inglês e sobretudo problemas procedimentais. A sua extensão a outras línguas, culturas e contextos conversacionais permanece, segundo os autores, uma via aberta.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x