От энкодера к декодеру: фундаментальный сдвиг
Эволюция архитектуры Transformer не ограничивается улучшением внимания. Ключевым моментом стал переход от двунаправленных энкодеров (Bert) к односторонним декодерам (GPT). Это изменение позволило моделям генерировать текст в режиме реального времени, предсказывая следующее слово на основе предыдущих, что стало основой для современных LLM.
Ключевые инновации архитектуры
Статья выделяет три технологических прорыва, которые сделали возможным масштабирование моделей до триллионов параметров без коллапса производительности:
- RoPE (Rotary Positional Embeddings): Замена абсолютных позиционных эмбеддингов. RoPE кодирует относительные позиции токенов через вращение векторов, что улучшает обобщающую способность модели на длинных контекстах.
- GQA (Grouped-Query Attention): Компромисс между MHA (Multi-Head Attention) и MQA (Multi-Query Attention). GQA группирует запросы, снижая нагрузку на память (memory bandwidth) при инференсе, но сохраняя качество генерации.
- MoE (Mixture of Experts): Разделение весов модели на «экспертов». Активируются только нужные части сети, что позволяет увеличивать размер модели, не пропорционально увеличивая вычислительные затраты на шаг.
Сравнение архитектурных подходов
| Архитектура | Механизм внимания | Плюсы | Минусы |
|---|---|---|---|
| MHA (Multi-Head) | Отдельные головы для каждого запроса | Высокое качество | Высокая нагрузка на память |
| MQA (Multi-Query) | Общие ключи и значения | Быстрый инференс | Потеря качества генерации |
| GQA (Grouped-Query) | Группы запросов с общими KV | Баланс скорости и качества | Сложность настройки групп |
Почему это важно
Понимание этих архитектурных решений критично для разработчиков, так как они определяют выбор модели для конкретных задач. GQA и MoE стали стандартом для современных больших языковых моделей, позволяя запускать мощные модели на ограниченном оборудовании. Эволюция от «ванильного» трансформера к таким оптимизациям показывает, что будущее ИИ — за эффективными, а не просто большими моделями.
Источник: Towards AI pub ↗