Разрушение мифа о «грамматической слепоте»
Недавние работы утверждали, что языковые модели (LLM) обладают врожденной предвзятостью к человеческим языкам. Однако исследование Ram Janarthan, Coleman Haley и Sharon Goldwater (arXiv:2606.30815) показывает, что предыдущие выводы строились на неточных метриках, таких как перплексия тестовых наборов. Авторы провели прямую оценку лингвистических способностей моделей, обученных на искаженных вариантах английского языка, которые теоретически считаются «невозможными» для усвоения человеком.
Методология: BLiMP и GPT-2
Для проверки гипотез исследователи использовали модели архитектуры GPT-2, обученные на «perturbed impossible» (искаженных невозможных) вариантах английского. Чувствительность к грамматике измерялась с помощью набора минимальных пар BLiMP (Benchmark of Linguistic Minimal Pairs). Ключевой вывод: модели демонстрируют лишь постепенное снижение качества при анализе грамматики, и этот спад напрямую зависит от «локальности информации» в языке (насколько далеко друг от друга находятся связанные элементы предложения).
Главный провал: генерация длинных текстов
В то время как понимание (рецептивная способность) оставалось относительно стабильным, генеративные способности (продуктивная способность) рухнули. Модели не смогли производить качественные предложения на длинных дистанциях. Это указывает на то, что проблема «невозможности» языка для ИИ кроется не в неспособности распознать правило, а в неспособности его применить при создании текста.
Сравнение результатов
| Критерий оценки | Результат модели | Интерпретация |
|---|---|---|
| Чувствительность к грамматике (BLiMP) | Постепенная деградация | Зависит от локальности информации; модель «понимает» структуру, но с трудом. |
| Генерация текста (Generation) | Резкий провал | Существенное снижение качества предложений на длинных дистанциях. |
| Связь с человеческим усвоением | Подтверждена | «Невозможность» языка объясняется дефицитом генеративной передачи (transmission failures). |
Почему это важно для AI-индустрии
Результаты, опубликованные в июне 2026 года и отмеченные Best Paper Award на конференции CoNLL, меняют понимание ограничений трансформеров. Это доказывает, что для создания более robust-моделей необходимо фокусироваться не только на улучшении понимания контекста, но и на стабилизации генеративных процессов при работе с длинными зависимостями в синтетических или сложных языковых структурах.
Источник: arXiv cs.CL ↗