Суть проблемы: «Подъем» вместо точности
Большие языковые модели (LLM) часто отвечают на запросы, сопоставляя отдельные наблюдения с общими правилами. Однако механизм этого процесса оставался загадкой. Авторы исследования Bumjin Park и Jaesik Choi формулируют гипотезу «поднятого» представления (Lifted Representation Hypothesis): LLM обновляют память, используя общие латентные структуры, а не изолированные факты.
Процесс делится на два этапа:
- Lifting (Подъем): Эффективное использование симметрии между примерами для создания общего правила.
- Shattering (Разбиение): Уточнение этих грубых структур в более специфичные подтипы при появлении исключений.
Эксперимент: Тест на вложенные правила
Для проверки гипотезы команда провела контролируемые эксперименты по обучению исключениям (exception-learning) в трех сценариях: In-Context Learning (ICL), дообучение LoRA и полное дообучение (full fine-tuning). Цель — увидеть, как модели справляются с данными, где правила имеют вложенную структуру и исключения.
Ключевые находки
Результаты показали системные уязвимости в архитектуре современных LLM:
- Преждевременный «подъем»: Модели склонны создавать общее правило слишком рано, еще до того, как увидят все нюансы данных.
- Сбой «разбиения»: При столкновении с вложенными правилами и исключениями LLM часто не могут уточнить свою первоначальную гипотезу, что приводит к галлюцинациям или неверным выводам.
Почему это важно
Это исследование бросает вызов представлению о том, что LLM просто «запоминают» данные. Оно показывает, что проблема не в объеме памяти, а в взаимосвязи между структурой данных и алгоритмами обобщения. Если модель не умеет корректно «разбивать» общие правила на частные случаи, она будет ошибаться в сложных логических задачах, требующих учета контекстных исключений. Это критично для внедрения LLM в области, где важна строгая логика (юриспруденция, медицина, программирование).
| Этап обработки | Определение в контексте гипотезы | Наблюдаемая проблема у LLM |
|---|---|---|
| Lifting (Подъем) | Создание общего правила на основе симметрии примеров | Происходит преждевременно, до изучения всех деталей |
| Shattering (Разбиение) | Уточнение общего правила до специфичных подтипов | Часто терпит неудачу при наличии вложенных исключений |
| Обучающие методы | ICL, LoRA, Full Fine-tuning | Уязвимость к ошибкам наблюдается во всех методах |
Источник: arXiv cs.AI ↗