Суть эксперимента: язык против кода
Исследователь Iñigo Parra поставил под сомнение гипотезу о том, что абстрактная структура, извлекаемая моделями из программирования, может заменить естественный язык для создания «мозгоподобных» представлений. Для проверки были обучены 25 моделей GPT-2-small на различных корпусах: TinyStories (детский английский), Python, C (функции), x86-64 assembly и соответствующий машинный код. Все модели оценивались с использованием общего токенизатора и процедуры кодирования.
Ключевые метрики: TinyStories побеждает
Результаты на датасетах Pereira-243 и Tuckute2024 показали статистически значимое преимущество текстовых моделей. Обучение на естественном языке (TinyStories) превзошло среднее значение четырех моделей, обученных на коде, с приростом корреляции Пирсона ($\Delta r$) на 0.053 и 0.059 соответственно (Holm-corrected $p<0.001$). При этом модели, обученные на коде, показали уровень выравнивания с нейронными данными, сопоставимый со случайными весами.
| Датасет / Метрика | Результат TinyStories (EN) | Результат Code-моделей (Python/C/ASM) | Статистическая значимость |
|---|---|---|---|
| Pereira-243 (Correlation) | Выше среднего на 0.053 | Ближе к случайным весам | $p < 0.001$ (Holm-corrected) |
| Tuckute2024 (Correlation) | Выше среднего на 0.059 | Ближе к случайным весам | $p < 0.001$ (Holm-corrected) |
| Blank2014 | Нет исправленной разницы | Нет исправленной разницы | — |
| Fedorenko2016 | Нет преимущества языка | Нет преимущества языка | — |
Геометрия представлений и «эффективные измерения»
Анализ геометрии представлений на Pereira-243 показал, что семени (seeds) TinyStories сходятся к наиболее схожим репрезентациям. Их соответствие нейронной диссимилярности без подгонки (fit-free) достигает пика в $\rho = 0.14$ — это в два раза выше, чем у моделей на коде и случайных весов. Важно отметить, что модели, обученные на бинарном коде, имеют всего около трех эффективных измерений, что означает: согласие семени само по себе не гарантирует нейронного соответствия.
Важное уточнение: роль эмбеддингов
Эксперимент также выявил интересный нюанс: обновление только матрицы эмбеддингов (embedding matrix) на английском языке улучшало выравнивание по глубине для каждой кодовой модели больше, чем равное обновление на собственном корпусе кода. Это указывает на то, что именно семантическая загрузка начальных слоев, характерная для естественного языка, играет критическую роль в формировании нейросовместимой структуры, а не просто абстрактная синтаксическая сложность кода.
Почему это важно
Работа, принятая на Neureps Workshop at NeurIPS 2026, ставит точку в спорах о том, можно ли заменить лингвистическое обучение чисто алгоритмическим. В рамках данной архитектуры и настройки обучения именно естественный язык порождает уникальную геометрию представлений, ближе всего соответствующую биологическому мозгу на ключевых бенчмарках.
Источник: arXiv cs.CL ↗