Los asistentes de inteligencia artificial también deben saber responder a preguntas mal planteadas, y no solo a las formuladas con precisión. Unos investigadores presentan XYBench, un benchmark (conjunto de pruebas estandarizado para comparar modelos) de más de 8.000 preguntas, que mide cómo reaccionan los asistentes cuando una solicitud se basa en una idea errónea. El trabajo recibió el Best Resource Paper Award en la conferencia EMNLP 2026.
El caso descrito por los autores es el del problema XY: una persona quiere alcanzar un objetivo (X), supone que un método dado (Y) permitirá lograrlo, y pide ayuda sobre ese método. Su ejemplo es el de un glaseado que se desliza sobre unos cupcakes. La persona busca espesar la crema, cuando el verdadero problema es que los pasteles aún están demasiado calientes para ser glaseados.
Cómo se construyó el benchmark
XYBench se basa en 8.115 preguntas extraídas de cuatro fuentes: 1.557 preguntas de Stack Overflow, 184 de Stack Exchange, 102 ejemplos elaborados manualmente y 6.272 preguntas generadas a partir de guías de WikiHow. Para cada pregunta, los investigadores identificaron la solicitud formulada (Y) y el objetivo real (X), que se puede deducir del contexto. Para las preguntas de los foros, las respuestas humanas mejor valoradas sirvieron para establecer el objetivo y las soluciones posibles. Para WikiHow, el modelo Sonnet 4.5 generó preguntas en torno a ideas erróneas plausibles, antes de ser refinadas.
Las respuestas se evalúan según tres criterios: la presencia de soluciones para Y y para X, el énfasis puesto en una u otra solicitud, y la capacidad de desviar al usuario del método erróneo. El juez automático es Claude Sonnet 4.5. Dos revisores humanos examinaron 500 respuestas, con un acuerdo promedio comprendido entre el 97,5 % y el 100 % para la presencia de una solución, entre el 84,6 % y el 93,3 % para la identificación de la idea errónea, y entre el 74,2 % y el 79,8 % para el énfasis.
Resultados contrastados
Los investigadores probaron Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro, con una sola pregunta por respuesta. Según el estudio, todos los modelos proponen más a menudo una solución a la solicitud formulada (Y) que al objetivo real (X). En Stack Overflow, las soluciones para Y aparecen en el 75 % al 86 % de las respuestas, frente al 59 % al 71 % para las que apuntan a X. Los modelos ponen principalmente el énfasis en X en el 35 % al 41 % de los casos, y en Y en el 47 % al 57 % de los casos.
En un experimento denominado «oráculo», los modelos reciben tanto Y como X. La tasa de Claude Sonnet 4.6 para proponer una solución al objetivo real pasa entonces del 59 % al 67 % en Stack Overflow, pero su tasa de identificación de la idea errónea baja del 47 % al 34 %. Según los autores, proporcionar la intención ayuda sin cerrar, de manera constante, la brecha con las respuestas humanas. Un segundo experimento, donde seis modelos, incluido GPT-4.1, deben elegir entre dos respuestas, muestra que retienen la respuesta centrada en el objetivo en el 71 % al 84 % de los casos. Los investigadores ven ahí una discrepancia entre reconocer un buen consejo y producirlo.
El benchmark cubre por ahora las consultas en inglés y sobre todo problemas procedimentales. Su extensión a otros idiomas, culturas y contextos conversacionales sigue siendo, según los autores, una vía abierta.
