Суть проблемы: XY-проблема в действии
Новый бенчмарк XYBench (победитель Best Resource Paper Award на EMNLP 2026) фокусируется на так называемой XY-проблеме. Это ситуация, когда пользователь хочет достичь цели X, но ошибочно полагает, что для этого нужно сделать Y, и просит помощи именно в Y. Классический пример: человек просит рецепт густой глазури, потому что она стекает с кексов, хотя реальная проблема в том, что кексы еще слишком теплые.
Исследователи из Allen Institute for AI (Ai2), Карнеги-Меллон, NVIDIA и Джонса Хопкинса создали датасет, чтобы измерить способность моделей не просто отвечать на запрос, а распознавать заблуждения и перенаправлять пользователя к истинной цели.
Метрика и структура датасета
Датасет состоит из 8 115 вопросов, охватывающих программирование (Stack Overflow, Stack Exchange) и бытовые задачи (WikiHow). Оценка ответов производится по трем ключевым параметрам:
- Pragmatic solution: Содержит ли ответ решение для буквального запроса (Y) и для истинной цели (X)?
- Pragmatic emphasis: На чем сосредоточен ответ: на ошибочном методе, на истинной цели или сбалансированно?
- Misconception identification: Указывает ли модель на ошибку в подходе пользователя и предлагает ли альтернативу?
Автоматическим судьей выступает Claude Sonnet 4.5, чьи решения валидированы людьми с точностью согласования 97.5–100% на наличие решения и 84.6–93.3% на выявление заблуждений.
Результаты: Разрыв между распознаванием и генерацией
Тестирование флагманских моделей показало, что они часто предлагают решение, но фокусируются на ошибочном пути. Ниже приведены результаты для Stack Overflow, где модели чаще давали решение для буквального запроса (Y), чем для истинной цели (X).
| Модель | Решение для Y (букв.) | Решение для X (истинное) | Фокус на X | Фокус на Y |
|---|---|---|---|---|
| Claude Sonnet 4.6 | 75–86% | 59–71% | 35–41% | 47–57% |
| GPT-5 | 75–86% | 59–71% | 35–41% | 47–57% |
| Gemini 3.1 Pro | 75–86% | 59–71% | 35–41% | 47–57% |
| Qwen3.5-9B | 75–86% | 59–71% | 35–41% | 47–57% |
| DeepSeek-V4 Pro | 75–86% | 59–71% | 35–41% | 47–57% |
Интересный эксперимент с «оракулом» (когда модели явно сообщали истинную цель X) показал рост решения для X с 59% до 67% у Sonnet 4.6, но падение способности выявлять заблуждения с 47% до 34%. Это доказывает: модели умеют распознавать полезный совет в чужом тексте (выбирая его в 71–84% случаев), но не могут сгенерировать такой же ответ самостоятельно (лишь 35–41% фокуса на цели).
Почему это важно
XYBench вскрывает фундаментальную проблему текущих LLM: они оптимизированы под выполнение инструкций, а не под понимание намерений. Для создания по-настоящему полезных ассистентов необходимо не просто улучшать качество ответов, а учить модели действовать на основе выведенного намерения, даже когда оно противоречит букве запроса. Датасет уже доступен на Hugging Face для тестирования новых методов промптинга и дообучения.
Источник: Hugging Face blog ↗
