Разрыв между «мышлением» и «действием»
Дообучение (fine-tuning) стало стандартом адаптации больших языковых моделей (LLM) под конкретные задачи. Однако исследователи из Университета Лидса и других институтов (Lingfang Li, Procheta Sen, Shubham Das, Danushka Bollegala) обнаружили критический парадокс: зоны, где модель физически меняет свои веса, и зоны, отвечающие за результат, — это разные места.
Авторы использовали метод EAP (Explainable Attention Patterns) для выявления «причинно-следственных» компонентов модели — конкретных слоев внимания и логит-активаций, которые реально влияют на ответ. Оказалось, что эти компоненты жестко локализованы в определенных слоях, но их распределение не коррелирует с тем, какие слои претерпевают наибольшие изменения при дообучении.
Ловушка пересечения задач
Самый неожиданный вывод касается мультизадачного обучения. Интуитивно считается, что если две задачи используют одни и те же внутренние механизмы модели, то обучение на одной поможет другой. Исследование опровергает это:
- Разная природа задач: Пересечение компонентов EAP между классификацией и генерацией не дает переноса навыков.
- Эффект обратного выстрела (Backfire): Если две задачи имеют высокое пересечение в EAP-компонентах, но различаются по сути, дообучение на одной может ухудшить производительность на другой. Модель «переписывает» важные нейронные пути, необходимые для первой задачи, чтобы оптимизировать вторую, теряя при этом точность в первой.
Ключевые метрики и выводы
Исследование показывает, что «глубина» изменений в сети не равна «важности» этих изменений для задачи. Это объясняет, почему некоторые модели после дообучения начинают «галлюцинировать» или терять базовые знания, даже если метрики на целевой задаче растут.
| Параметр | Наблюдение исследователей | Практический вывод |
|---|---|---|
| Локализация знаний | EAP-компоненты сконцентрированы в конкретных слоях | Модульное дообучение (LoRA) эффективнее полного, так как затрагивает меньше «жизненно важных» зон |
| Корреляция изменений | Слои с наибольшими изменениями весов ≠ слои с EAP-компонентами | Мониторинг только метрик точности (Accuracy) недостаточен; нужно отслеживать сдвиги в активациях |
| Перенос навыков | Высокое пересечение EAP не гарантирует улучшения | Объединение разнородных задач (классификация + генерация) в один датасет может снизить качество |
Почему это важно для индустрии
Для разработчиков RAG-систем и корпоративных LLM это означает, что «смешивание» данных для дообучения требует осторожности. Нельзя просто собрать датасет из разных задач, надеясь на синергию. Если задачи имеют схожие внутренние паттерны внимания, но разные цели, модель может деградировать. Будущее адаптации LLM лежит в плоскости изоляции причинно-следственных связей, а не просто увеличения объема данных.
Источник: arXiv cs.AI ↗