Суть эксперимента: 96 искусственных языков
Исследователи Iskar Deng и Shane Steinert-Threlkeld из Университета Мэриленда (UMD) провели масштабный анализ того, как нейросети осваивают конструкции действенного отглагольного существительного (ANC). Это сложные грамматические структуры, где событие выражается через имя (например, «разрушение моста» вместо «мост был разрушен»).
Для чистоты эксперимента команда не использовала реальные языки, а сгенерировала 96 целевых языков с помощью метода, сочетающего семантику из реальных корпусов и вычислительные грамматики. Модели GPT-2-small обучались с нуля на этих синтетических данных.
Ключевые метрики и результаты
Оценка проводилась на 34 грамматических феноменах с использованием минимальных пар. Исследование выявило парадокс: модели идеально усваивают базовый порядок слов, но радикально расходятся с людьми в выборе стратегий согласования.
| Параметр | Поведение GPT-2-small | Поведение естественных языков |
|---|---|---|
| Базовый порядок слов | Высокое совпадение (Typological parallels) | Стандартные паттерны (SVO, SOV и др.) |
| Системы дополнений (Complement systems) | Сильное расхождение (Divergence) | Ограниченный набор устойчивых стратегий |
| Стратегии ANC | Создание редких/неаттестованных комбинаций | Функциональная оптимизация |
Почему это важно для AI-индустрии
Результаты показывают, что текущие архитектуры трансформеров (на примере GPT-2) не имитируют эволюцию человеческой речи «один в один». ИИ склонен изобретать грамматические конструкции, которые редки или вовсе не встречаются в реальных языках.
Это доказывает, что естественные языки — это не просто результат статистического обучения, а продукт функциональных ограничений и когнитивных особенностей человека, которые современные LLM пока не учитывают в полной мере.
Источник: arXiv cs.CL ↗