Суть эксперимента: 2 трлн токенов и 169 конструкций
Исследователь Пётр Вилам (Piotr Wilam) провёл анализ модели OpenCoder-1.5B в процессе предобучения. Целью было измерение аналога «дрейфа представлений» (representational drift), известного в нейробиологии, где поведение остаётся стабильным, хотя активация нейронов меняется. Эксперимент охватил 2 триллиона токенов с постоянным темпом обучения и фиксацией состояний каждые 1000 шагов. Анализу подверглись 169 конструкций Python.
Парадокс: потеря стабильности нейронов
Ключевой вывод исследования — набор нейронов, отвечающих за конкретную синтаксическую конструкцию, никогда не стабилизируется. Даже на последнем чекпоинте состав нейронов продолжал меняться. Исследователи проверили гипотезу о том, что к какому-то моменту (от 84 млрд до 1.5 трлн токенов) нейроны должны «осесть» на своих местах, но эта гипотеза была опровергнута с вероятностью 99%.
Вместо фиксации наблюдается «постоянный пул» нейронов, из которых модель выбирает текущую выборку. Нейрон, покинувший группу, с вероятностью в три раза выше возвращается в неё позже, но точная копия предыдущего набора никогда не собирается.
Количественные метрики: цена удаления нейронов
Для оценки важности нейронов исследователи измеряли рост функции потерь (loss) при удалении специфических нейронов по сравнению со случайным набором. Результаты показали, что зависимость от конкретных нейронов растёт на протяжении всего обучения, даже если качество кода (loss) уже достигло минимума.
| Объем данных (токены) | Дополнительная потеря (nats) при удалении целевых нейронов | Интерпретация |
|---|---|---|
| 4 млрд | +0.06 nats | Начальная фаза закрепления |
| 84 млрд | +0.25 nats | Активная фаза обучения |
| 2 трлн (финал) | +0.40 nats | Максимальная специфичность, но нестабильность состава |
Почему это важно для AI-индустрии
Результаты опровергают упрощённое представление о том, что после достижения стабильного качества модели (loss floor) её внутренняя архитектура становится статичной. Для 16 из 169 конструкций, где грамматика жёстко фиксирует следующий токен, потеря достигла «пола» уже в первые 4% обучения, однако reliance (зависимость) от конкретных нейронов роса до самого конца. Это означает, что функциональность кода поддерживается динамическим, а не фиксированным аппаратным обеспечением модели.
Данные и код для воспроизведения эксперимента доступны в датасете AtlasOpenCoder (tag v1), что позволяет исследователям глубже изучать механизмы интерпретируемости и стабильности больших языковых моделей.
Источник: arXiv cs.CL ↗