LLM против корпусов: GPT-5.2 и Claude Sonnet 4.5 в терминологии

Суть эксперимента: LLM против традиционных ресурсов

Исследователи из ALTAE (URP 3967) и LLF (UMR7110) поставили под сомнение возможность использования больших языковых моделей как полной замены терминологическим корпусам. Специализированный перевод традиционно опирается на документальные ресурсы, однако их создание требует времени, технических навыков и доступа к закрытым данным. Авторы проверили, могут ли LLM стать более доступной альтернативой для переводчиков с английского на французский язык.

Методология и модели

Эксперимент проводился в двух узких доменах: Науки о Земле, окружающей среде и планетологии (EEPS) и Обработка естественного языка (NLP). Для тестирования были выбраны 80 терминов в каждой области. В исследовании участвовали четыре проприетарные модели, которые сравнивались в двух режимах: «терминологический» (поиск эквивалентов) и «режим перевода».

Результаты: Лидеры и стабильность

Результаты выявили значительные различия между моделями. Claude Sonnet 4.5 показал наилучшие результаты в наиболее благоприятных условиях (терминологический режим), став лидером по точности. Однако DeepSeek продемонстрировал наибольшую стабильность результатов across domains. Важно отметить, что оценки уверенности (confidence estimates) моделей оказались лишь частичным индикатором точности, что требует осторожности при автоматической фильтрации.

Вывод для индустрии

Исследование, представленное на 26-й конференции Европейской ассоциации машинного перевода (EAMT 2026), приходит к выводу, что LLM являются полезным инструментом-ассистентом, но не могут заменить специализированные корпусы на данном этапе. Работа открывает путь для дальнейших исследований практической полезности LLM в рабочих и образовательных контекстах для профессиональных переводчиков.

Источник: arXiv cs.AI ↗