Проблема автоматической оценки перевода
Большие языковые модели (LLM) позиционируются как дешевая и быстрая альтернатива человеческой оценке качества машинного перевода (MT). Однако новое исследование авторов Hala Almaghout, Christian Federmann и Qin Gao ставит под сомнение эту идею. Ученые провели масштабную проверку на соответствие аннотаций LLM человеческим суждениям, используя две ключевые схемы: MQM (Multidimensional Quality Metrics) и ESA (Error Span Annotation).
Масштаб и результаты
Тестирование проводилось на длинном контекстном наборе данных, охватывающем 70 языковых пар, а также на публичных данных WMT23 и WMT25. Главный вывод: хотя в некоторых задачах согласие LLM с людьми превышает согласие между самими людьми, в большинстве сценариев модели остаются ненадежными.
Ключевая проблема заключается в том, что LLM и люди делают совершенно разные ошибки. Ниже приведено сравнение слабых сторон:
| Субъект | Основные проблемы | Слабые зоны |
|---|---|---|
| Люди | Сложность тонкой настройки | Аннотация по схеме MQM, низкоуровневые языковые пары |
| LLM | Неточность детализации | Мелкие ошибки, неверные языковые варианты, аннотация диапазонов ошибок (ESA) |
Почему это важно
Результаты показывают, что полная автоматизация оценки качества перевода пока невозможна. LLM плохо справляются с контекстуальными нюансами и мелкими ошибками, которые критичны для профессионального перевода. Исследование предлагает путь вперед: гибридные пайплайны, где сильные стороны людей и моделей комбинируются для повышения общей надежности оценки.
Источник: arXiv cs.CL ↗