TLoRA: Как механистический анализ закрыл разрыв в арабской медицине LLM

Проблема: «Слепое пятно» арабской медицины в LLM

Крупные языковые модели (LLM) демонстрируют выдающиеся результаты в англоязычных медицинских задачах, но их эффективность резко падает при работе с арабским языком. Традиционно это объясняется недостатком обучающих данных. Однако новая работа из arXiv (2608.00207) ставит этот факт под сомнение, используя методы tuned lens probing и causal activation patching для внутреннего анализа работы моделей.

Инсайт: Знания есть, но они «заперты»

Авторы обнаружили парадоксальный механизм: медицинские знания на арабском языке действительно присутствуют в промежуточных представлениях модели (intermediate representations), но не доходят до выхода. Сбой происходит на этапе формирования ответа, а не в процессе извлечения фактов. Это означает, что проблема не в отсутствии данных, а в том, как модель их декодирует.

Решение: Targeted Low-Rank Adaptation (TLoRA)

На основе этого механистического диагноза предложена стратегия TLoRA. Вместо полной донастройки сети (full-network LoRA), метод ограничивает адаптацию узким окном слоев, где кросс-лингвальные представления расходятся. Это позволяет «перенаправить» уже имеющиеся знания модели на правильный выход без перетренировки всей архитектуры.

Результаты и новый датасет AraClinicDialog

Метод протестирован на задачах множественного выбора (multiple-choice QA), генерации кратких ответов и многооборотных клинических диалогов. TLoRA превосходит базовые подходы (zero-shot, few-shot и полный LoRA). Также представлена новая бенчмарк-коллекция AraClinicDialog — диалоги, созданные врачами на современном стандартном арабском (MSA) с валидированными вариантами на четырех диалектах.

Работа доказывает, что механистическая диагностика (mechanistic diagnosis) может служить практическим руководством для создания эффективных LLM для языков с низким уровнем ресурсности (low-resource languages).

Источник: arXiv cs.CL ↗