The AI / news

XYBench помогает решить проблему, скрытую за вопросом

XYBench помогает решить проблему, скрытую за вопросом

Искусственный интеллект должен уметь отвечать не только на точно сформулированные вопросы, но и на некорректно поставленные. Исследователи представляют XYBench — бенчмарк (стандартизированный набор тестов для сравнения моделей) из более чем 8000 вопросов, который оценивает, как ассистенты реагируют на запросы, основанные на ложном предположении. Работа получила награду Best Resource Paper Award на конференции EMNLP 2026.

Авторы описывают случай проблемы XY: человек хочет достичь цели (X), предполагает, что для этого подойдет определенный метод (Y), и просит помощи именно с этим методом. Их пример — глазурь, которая сползает с кексов. Человек ищет способ сделать крем гуще, тогда как реальная проблема заключается в том, что выпечка еще слишком горячая для глазирования.

Как был построен бенчмарк

XYBench основан на 8115 вопросах из четырех источников: 1557 вопросов с Stack Overflow, 184 — с Stack Exchange, 102 примера, составленных вручную, и 6272 вопроса, сгенерированных на основе руководств WikiHow. Для каждого вопроса исследователи определили сформулированный запрос (Y) и реальную цель (X), которую можно вывести из контекста. Для вопросов с форумов за основу для определения цели и возможных решений брались ответы пользователей с наивысшими оценками. Для WikiHow модель Sonnet 4.5 генерировала вопросы вокруг правдоподобных заблуждений, которые затем уточнялись.

Ответы оцениваются по трем критериям: наличие решений для Y и для X, акцент на том или ином запросе и способность отвести пользователя от ошибочного метода. Автоматическим судьей выступает Claude Sonnet 4.5. Два человека-рецензента проверили 500 ответов, достигнув среднего согласия от 97,5% до 100% по наличию решения, от 84,6% до 93,3% по выявлению заблуждения и от 74,2% до 79,8% по акценту.

Неоднозначные результаты

Исследователи протестировали Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro, задавая по одному вопросу на ответ. Согласно исследованию, все модели чаще предлагают решение для сформулированного запроса (Y), чем для реальной цели (X). На Stack Overflow решения для Y появляются в 75–86% ответов, тогда как решения, направленные на X, — в 59–71% случаев. Модели делают основной акцент на X в 35–41% случаев, а на Y — в 47–57% случаев.

В эксперименте под названием «oracle» модели получают одновременно и Y, и X. В этом случае доля ответов Claude Sonnet 4.6, предлагающих решение для реальной цели, на Stack Overflow возрастает с 59% до 67%, но его способность выявлять заблуждение падает с 47% до 34%. По мнению авторов, предоставление намерения помогает, но не позволяет постоянно сократить разрыв с человеческими ответами. Во втором эксперименте шесть моделей, включая GPT-4.1, должны были выбрать один из двух ответов; они выбирали ответ, сфокусированный на цели, в 71–84% случаев. Исследователи видят здесь разрыв между распознаванием хорошего совета и его генерацией.

На данный момент бенчмарк охватывает запросы на английском языке и в основном процедурные проблемы. Его расширение на другие языки, культуры и контексты беседы остается, по словам авторов, открытой задачей.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x