Проблема: почему MLP уступают Трансформерам?
Несмотря на то, что многослойные перцептроны (MLP) являются универсальными аппроксиматорами, они проигрывают архитектурам на основе внимания. Стандартное объяснение сводится к «пределам производительности», но это не отвечает на вопрос о природе обучения. Ключевое различие заключается в том, что MLP склонны к запоминанию (memorization), тогда как Трансформеры осуществляют контекстуализацию (contextualization).
Исследование «The Bayesian Geometry of Transformer Attention» подтвердило это эмпирически с помощью инструмента «Байесовские аэродинамические трубы» (Bayesian wind tunnels), где доказано: чистое обучение в контексте (in-context learning) возможно, а запоминание становится вычислительно запретительно дорогим и не улучшает процесс обучения.
Новая гипотеза: Внимание как байесовское распространение
Автор предлагает определить внимание не как специфический слой нейросети, а как общий механизм обработки информации. В этой парадигме:
- Контекст — это набор обучаемых запросов (queries), оптимизированных для минимизации энтропии (сюрприза) относительно доказательств (evidence).
- Маргинализация — запросы переиспользуются и маргинализуются, становясь независимыми от конкретных доказательств, что позволяет фильтровать информацию.
- Внимание (Inference) — это факторизованная, управляемая запросами маргинализация убеждения (belief) над доказательствами.
Динамика обучения: RL и минимизация энтропии
В процессе обучения механизм внимания описывается через динамику градиентов политики (policy-gradient). Один слой с одним заголовком трансформера интерпретируется как цикл REINFORCE в обучении с подкреплением. Цель оптимизации — глобальная минимизация энтропии (или вариационной свободной энергии в биологических моделях).
Трансформеры, по сути, реализуют алгоритм EM (Expectation-Maximization) для распространения убеждений. Это объясняет асимметрию сходимости: запросы (queries) сходятся быстрее под действием информационно-теоретических сил, тогда как значения (values) сходятся медленнее, неся семантическую нагрузку.
Сравнительная таблица: MLP vs Attention (в новой парадигме)
| Характеристика | MLP (Многослойный перцептрон) | Attention (Трансформер/Байесовский подход) |
|---|---|---|
| Основной механизм | Запоминание (Memorization) | Контекстуализация (Contextualization) |
| Роль запросов (Queries) | Отсутствуют / Неявны | Активные фильтры для маргинализации убеждений |
| Оптимизация | Прямое сопоставление паттернов | Минимизация энтропии через RL-подобные градиенты |
| Сходимость компонентов | Синхронная | Запросы сходятся быстрее, значения (смысл) — медленнее |
Зачем это нужно?
Архитектурно-независимое определение позволяет:
- Измерять внимание в любых моделях, включая диффузионные модели или биологические системы.
- Проектировать новые архитектуры, целенаправленно внедряя механизмы байесовского вывода для улучшения контекстного обучения.
- Исследовать сознание, так как внимание считается ключевым компонентом (хотя и не единственным) осознанности.
Введение нормализации Softmax в таких системах выступает как автоцентрирующая базовая линия, стабилизирующая дисперсию, что делает эту теоретическую базу применимой к существующим вариациям архитектуры трансформеров.
Источник: LessWrong ↗