Проблема интерпретируемости: от зондов к прямым измерениям
Современная интерпретируемость нейросетей часто опирается на обучение вторичных моделей (зондов, разреженных автоэнкодеров) для чтения активаций. Хотя это решает проблемы смешанных значений и отсутствия единиц измерения, оно теряет главное — прямую связь с нейронами оригинальной модели. В работе Calibrated concept profiles (arXiv:2611.09196) автор предлагает вернуть прямое чтение, превратив его в строгое измерение. Активация нейрона рассматривается не как единичное значение, а как распределение по популяции стимулов, где каждое значение имеет свою «шумовую единицу».
Методология: AtlasOpenCoder и батарея промптов
Ключевым элементом метода является датасет AtlasOpenCoder (v1), который формирует референсную популяцию стимулов. На основе этого датасета генерируется «батарея промптов», которая запускается дважды для оценки шума. Результатом становится калиброванный концептуальный профиль — одно число на нейрон, выраженное в единицах собственного разброса нейрона на обычных входных данных. Это позволяет сравнивать активации между разными чекпоинтами обучения с учетом статистической значимости.
Эксперимент: OpenCoder-1.5B и 2 триллиона токенов
Метод реализован на модели OpenCoder-1.5B. Исследование отслеживало изменения в профилях нейронов на протяжении обучения, охватив диапазон в 2 триллиона тренировочных токенов. Это позволило не только зафиксировать текущее состояние, но и измерить минимальное изменение, которое профиль способен разрешить между чекпоинтами. Все данные, код и батарея промптов опубликованы для воспроизводимости.
Результаты: Единицы измерения и порог шанса
В отличие от альтернативных методов, предложенный подход предоставляет для каждого сравнения:
- Единицу измерения для каждого числа активации;
- Порог шанса (chance level) для каждой статистической проверки;
- Точную идентификацию нейронов, несущих конкретную концепцию, на каждом этапе обучения.
Сравнение подходов к интерпретируемости
| Характеристика | Традиционные зонды / Autoencoders | Calibrated Concept Profiles (CCP) |
|---|---|---|
| Прямой доступ к нейронам | Нет (требуется промежуточная модель) | Да (прямое чтение) |
| Единицы измерения | Отсутствуют (арbitrary scale) | В единицах разброса нейрона |
| Воспроизводимость | Сложна из-за случайности обучения зонда | Высокая (фиксированная батарея промптов) |
| Модель для теста | Любая (через дообучение) | OpenCoder-1.5B (прямая интеграция) |
Значение для индустрии
Публикация кода и датасета AtlasOpenCoder открывает путь к стандартизации измерений в интерпретируемости. Возможность отслеживать, какие именно нейроны несут концепцию на каждом из триллионов токенов обучения, дает исследователям инструмент для анализа динамики обучения моделей, а не только их статического состояния.
Источник: arXiv cs.CL ↗