Новое исследование, опубликованное на платформе LessWrong командой Adam Shai, Kyle Ray и Paul Riechers, предлагает фундаментальное объяснение того, как большие языковые модели (LLM) обрабатывают гетерогенные данные. Авторы доказывают, что обучающие корпуса современных LLM являются неэргодичными — то есть состоят из смеси различных генеративных процессов (например, стиль конкретного автора или жанр документа), где источник фиксирован в начале последовательности. Эта структура заставляет нейросеть выстраивать специфическую геометрию внутренних активаций.
Суть явления: от монет к трансформерам
Для объяснения концепции авторы используют аналогию с двумя монетами с разными вероятностями выпадения орла. Наблюдая за последовательностью, модель должна определить, какая монета используется. В начале последовательности уверенность низкая, но по мере поступления токенов «уверенность» смещается к одному из источников. В контексте LLM это означает, что модель выполняет байесовский вывод о том, какой именно генеративный процесс (стиль, тему, источник) следует использовать для предсказания следующего токена.
Ключевое открытие заключается в том, что линейная регрессия на активациях residual-stream трансформеров восстанавливает структуру, которую авторы называют «телескопическими конусами» (telescoping cones). Эти конусы представляют собой векторы убеждений (beliefs), которые расширяются или сжимаются в зависимости от того, насколько сильно контекст поддерживает конкретный компонент данных.
Геометрическая модель активаций
Исследование показывает, что когда данные имеют известную смешанную структуру, трансформер не просто запоминает паттерны, а явно кодирует иерархический вывод. Геометрия активаций становится разреженной (sparse) и многомерной, отражая вероятность принадлежности к каждому из скрытых источников. Это подтверждает гипотезу о том, что in-context learning — это не магия, а имитация байесовского вывода над латентными концепциями.
Ниже приведена сравнительная характеристика свойств эргодичных и неэргодичных процессов в контексте обработки данных LLM:
| Характеристика | Эргодичный процесс | Неэргодичный процесс (Реальные данные LLM) |
|---|---|---|
| Источник данных | Один стабильный генератор | Смесь множества различных генераторов |
| Изменение источника | Статистически эквивалентно смене во времени | Фиксирован в начале последовательности (sequence-level) |
| Механизм вывода | Усреднение по всей выборке | Иерархический байесовский вывод: сначала «кто автор?», затем «что сказать?» |
| Геометрия активаций | Простая, однородная | Телескопические конусы, масштабируемые по уверенности |
Почему это важно для индустрии
Понимание неэргодичной природы данных позволяет лучше интерпретировать работу моделей. Если трансформеры действительно строят такие геометрические структуры, это открывает пути для более эффективного контроля за поведением моделей, улучшения интерпретируемости (interpretability) и создания систем, которые лучше адаптируются к смене контекста без переобучения. Результаты исследования служат фальсифицируемым предсказанием: если сеть обучается на неэргодичных данных, её активации должны демонстрировать описанную телескопическую геометрию, что уже подтверждено на начальных этапах экспериментов.
Источник: LessWrong ↗