Проблема «невидимого разрыва»
Сотни миллионов индийцев общаются с цифровыми системами, используя латинскую транслитерацию (романизацию), набирая фразы вроде "aap kaise hain" вместо родного скрипта. Однако этот сегмент полностью игнорируется в современных NLP-бенчмарках. Авторы исследования из arXiv (2026) доказали, что стандартные метрики систематически завышают качество ответов LLM для романских индийских языков, скрывая фатальные ошибки генерации.
Методология и модели
Команда оценила четыре флагманские модели на наборе из 142 пар запрос-ответ из датасета OpenAssistant. Для валидации была выделена подвыборка из 72 ответов, которые оценивали носители языков. Сравнение проводилось между моделями Claude Opus 4.8, GPT-5.5, Gemini 2.5-flash и Qwen3.5-35B.
Разрыв между метриками и реальностью
Автоматические метрики BGE-M3 и BERTScore показали практически идентичные результаты для лучших моделей, в то время как человеческая оценка выявила существенную разницу. Ниже приведены ключевые цифры, демонстрирующие неэффективность текущих подходов к оценке:
| Метрика / Модель | GPT-5.5 | Claude Opus 4.8 | Разница (Автоматическая) | Разница (Человеческая, 12-балл) |
|---|---|---|---|---|
| BGE-M3 (Mean) | 0.842 | 0.838 | 0.004 | — |
| Человеческая оценка | — | — | — | 1.43 балла в пользу GPT-5.5 |
Разница в 1.43 балла по 12-балльной шкале является статистически значимой, тогда как автоматические метрики фиксируют лишь шум в 0.004. Это означает, что метрики не способны различить качественную и посредственную генерацию.
Типичные ошибки моделей
Исследование выявило два специфических типа сбоев, которые автоматические метрики пропускают:
- Script Spillage (Утечка скрипта): Модель Gemini 2.5-flash в 16.9% случаев ответов на телугу случайно вставляла символы родного индийского алфавита, нарушая требование о строгой романизации.
- Instruction Collapse (Схлопывание инструкции): Модель Qwen3.5-35B в 16.2% случаев полностью игнорировала язык запроса на каннада, генерируя ответ исключительно на английском.
Новый подход к оценке
Авторы предлагают политику оценки, aware к ошибкам (failure-aware), которая присваивает нулевые баллы за пустые ответы, ответы с «загрязненным» скриптом и коллапс инструкции. Вывод однозначен: для романских индийских языков недостаточно семантического сходства. Необходим комплексный подход, включающий проверку соблюдения скрипта, покрытие сбоев и оценку носителями.
Источник: arXiv cs.CL ↗