Проблема «черного ящика» и новая парадигма
Несмотря на доминирование трансформеров, природа их внутренних представлений остается загадкой. Артемий Колчинский (Artemy Kolchinsky) в статье от 31 октября 2026 года предлагает метод определения, декодирования и манипуляции этими представлениями через концепцию «обобщенных состояний веры» (generalized belief states). В отличие от простых активаций, это статистические данные прошлых наблюдений, которые должны удовлетворять трем критериям:
- Достаточность (Sufficiency): состояние позволяет предсказывать будущее так же точно, как и вся история токенов.
- Рекурсивность (Recurrence): состояние можно обновлять по мере поступления новых данных без хранения всей истории.
- Низкая размерность: состояние компактно, что позволяет визуализировать и интерпретировать его.
Методология: от HMM к трансформерам
Подход базируется на теории марковских цепей. Автор демонстрирует, что байесовский апостериорный распределенный вектор (belief state) в скрытой марковской модели (HMM) идеально подходит под эти критерии. Ключевой вывод исследования: KV-cache (Key-Value cache) в трансформерах выполняет роль такого обобщенного состояния веры. Это означает, что кэш ключей и значений — это не просто оптимизация скорости, а геометрическое представление «убеждений» модели о текущем контексте.
Эмпирическая проверка на модели MRRXOR
Для проверки гипотезы Колчинский использовал тривиальную, но информативную стохастическую модель MRRXOR (Hidden Markov Model с 5 скрытыми состояниями). Процесс генерирует два случайных бита, затем их XOR, после чего происходит сброс. Исследование показало, что главные компоненты (PC) состояния веры в пространстве активаций трансформера имеют четкую семантическую нагрузку:
| Компонента (PC) | Что кодирует в модели MRRXOR | Значение для интерпретируемости |
|---|---|---|
| PC1 | Вероятность состояния «сброс» (A) | Отслеживает завершение паттерна (XOR-тройки) |
| PC2 | Последний полученный токен | Разделяет истории по последнему символу |
| PC3 | XOR двух последних токенов | Критически важно: достаточна для предсказания следующего токена |
| PC4 | Различие между состояниями B/C и D/E | Кодирует ожидание бита XOR или его отсутствие |
Важное ограничение: краткосрочное vs долгосрочное предсказание
Исследование выявляет фундаментальное различие в задачах предсказания. Состояние, достаточное для предсказания следующего токена (в примере MRRXOR это PC3), не является достаточным для предсказания всего будущего континуума. Это означает, что трансформеры могут эффективно оптимизировать свои внутренние представления под локальные задачи генерации, жертвуя полнотой глобальной модели мира.
Почему это важно для индустрии
Работа Колчинского, вдохновленная исследованием Shai et al. (2024), предоставляет конкретный математический аппарат для анализа интерпретируемости. Понимание того, что KV-cache эволюционирует как «состояние веры», открывает пути для:
- Управления памятью: оптимизации размера кэша на основе информационной значимости состояний.
- Аудита моделей: проверки того, действительно ли модель «понимает» структуру данных, а не просто запоминает паттерны.
- Визуализации: построения карт «мировых моделей» внутри нейросетей через проекции PCA.
Источник: LessWrong ↗