Проблема «тихой» ошибки
При переходе от демонстраций к реальным внедрениям систем Text-to-SQL главным врагом становится не отсутствие данных, а неоднозначность (ambiguity) пользовательских вопросов. Ошибки часто носят тонкий, специфичный для домена характер и приводят к тому, что сгенерированный SQL-запрос технически верен, но не отражает истинную намерение пользователя. Традиционный подход — диалоговое уточнение — требует лишних когнитивных усилий от пользователя и нарушает рабочий процесс.
Новая парадигма: Структурное устранение неоднозначности
Авторы работы (Yihao Hu, Yanlin Feng, Naoki Otani, Nikita Bhutani) предлагают метод Structured Disambiguation. Вместо свободного диалога система использует явные, ограниченные взаимодействия для разрешения двусмысленностей. Для оценки этого подхода создан датасет ARCS (Ambiguity Resolution Corpus for SQL) — первый бенчмарк, содержащий естественные, неконтролируемые неоднозначности на реальных базах данных с полной аннотацией всех точек неясности и интерпретаций.
Жесткие метрики: GPT-6-сol и Open Source
Эксперименты показали, что текущие SOTA-модели критически уязвимы перед неоднозначностями. Даже мощная закрытая модель GPT-6-сol демонстрирует низкую эффективность, а открытые аналоги практически не справляются с задачей. Результаты представлены в таблице ниже:
| Модель | Тип доступа | End-to-End Execution Accuracy |
|---|---|---|
| GPT-6-sol | Закрытая (Proprietary) | 51% |
| Лучшие Open Source модели | Открытые (Open Source) | < 27% |
Почему это важно
Результат в 51% для флагманской модели GPT-6-сol указывает на то, что современные LLM не способны надежно интерпретировать естественный язык в контексте сложных баз данных без явного структурирования намерений. Для разработчиков AI-инструментов это сигнал к отказу от «черного ящика» в пользу систем, где неоднозначность разрешается через четкие интерфейсы выбора, а не через попытки угадывания в свободном диалоге.
Источник: arXiv cs.CL ↗