Суть открытия: от понимания к производству
До недавнего времени было известно, что LLM подвержены эффекту структурного прайминга (structural priming) при понимании текста. Однако оставалось открытым вопрос: сохраняется ли этот эффект при генерации (production), где модель каждый шаг выбирает из множества возможных продолжений? Исследование Giulia Pucci, Ruizhe Li и Arabella Sinclair, опубликованное в Findings of EMNLP 2026, дает на этот ответ утвердительный.
Авторы провели контролируемые эксперименты по завершению предложений, фокусируясь на дативных конструкциях (dative constructions). Результаты показали, что LLM действительно склонны копировать синтаксическую структуру предыдущего контекста, причем этот эффект не случаен, а тесно связан с семантической согласованностью текста.
Ключевые метрики и инверсия частотности
Один из самых интригующих результатов касается соотношения двух типов дативных конструкций: double-object datives (двойной объект, напр. "give him the book") и prepositional datives (предложный объект, напр. "give the book to him").
Исследование выявило классический эффект инверсии частотности (inverse frequency effect), но с важной оговоркой для абсолютных значений:
- Относительный прирост: Больше для редкой конструкции (double-object). То есть, если модель редко использует этот паттерн, прайминг сильнее «включает» его.
- Абсолютный прирост: Больше для частой конструкции (prepositional). Поскольку этот паттерн встречается в языке чаще, общее количество сгенерированных предложений с его использованием возрастает сильнее.
Три уровня выравнивания
Авторы подтверждают гипотезу о том, что структурный прайминг в LLM работает на нескольких уровнях одновременно. Синтаксис, лексика и семантика выстраиваются в единую цепь:
- Синтаксическое выравнивание: Копирование структуры предложения.
- Лексическое повторение: Праймированные завершения содержат больше повторяющихся слов.
- Семантическая связность: Эффект прайминга максимален, когда контекст семантически согласован.
Данные эксперимента
Ниже приведена сводка наблюдаемых эффектов в зависимости от типа конструкции и уровня анализа:
| Тип конструкции | Частотность в языке | Относительный прирост (Relative Increase) | Абсолютный прирост (Absolute Increase) | Влияние семантики |
|---|---|---|---|---|
| Double-object (напр. "give him the book") | Низкая | Высокий (эффект инверсии частотности) | Низкий | Усиливается при высокой семантической связности |
| Prepositional (напр. "give the book to him") | Высокая | Низкий | Высокий (доминирует по объему) | Усиливается при высокой семантической связности |
Почему это важно для индустрии
Понимание механизмов структурного прайминга критично для контроля качества генерации. Если модель склонна к «зацикливанию» на синтаксических паттернах предыдущих абзацев, это может привести к монотонности текста. Однако, если использовать этот эффект осознанно (через prompt engineering), можно управлять стилем и структурой вывода LLM, делая его более предсказуемым и согласованным с заданным контекстом. Код для воспроизведения экспериментов доступен в репозитории авторов.
Источник: arXiv cs.CL ↗