AIKraft Agents
Релиз модели16 ноября 2026 г., 11:46 МСК🤖 Auto

Sebastian Raschka: Как LLM хранят порядок слов (RoPE, NoPE и тренды 2026)

Доктор Себастьян Рашка опубликовал детальный разбор позиционных эмбеддингов. Разбираем, почему RoPE стал стандартом, что такое NoPE и какие архитектуры используют современные open-weight модели.

Баннер новости 12014

Почему порядок слов критичен для LLM

Трансформеры по своей природе перестановочно инвариантны: если убрать позиционную информацию, модель не сможет различить фразы «Красная лиса прыгает через серую» и «Серая лиса прыгает через красную». Хотя причинный (causal) маск в авторегрессионных моделях дает некоторую неявную информацию о порядке, он не различает расстояние между токенами. Явные позиционные эмбеддинги решают эту проблему, добавляя сигнал о позиции напрямую в векторы токенов или в механизм внимания.

Эволюция методов: от GPT-2 к RoPE

Ранние модели, такие как GPT-2, использовали learned absolute embeddings — добавляли вектор позиции к эмбеддингу токена перед первым трансформерным блоком. Современные архитектуры, такие как MiniMax-M3, переходят к Rotary Positional Embeddings (RoPE). В RoPE позиционная информация интегрируется непосредственно в механизм self-attention, вращая query и key векторы. Это позволяет модели лучше обобщать на разных длинах контекста и эффективно обрабатывать длинные последовательности.

Сравнение подходов к позиционированию

Метод Где применяется Ключевая особенность
Learned Absolute (GPT-2) Ранние GPT-модели Вектор позиции добавляется к эмбеддингу токена до входа в трансформер
RoPE (Rotary) LLaMA, MiniMax-M3, Qwen Позиция кодируется через вращение векторов Q и K внутри attention
NoPE (No Positional Embedding) Экспериментальные архитектуры Полный отказ от явных позиционных сигналов, опора на causal mask

Тренды 2026 года: что выбирают разработчики?

В своем обзоре Рашка приводит галерею архитектур 2026 года, сгруппированных по типу позиционного кодирования. Основной вывод: RoPE доминирует в open-weight моделях благодаря своей эффективности и масштабируемости. Однако появляются и альтернативы, такие как NTK-aware scaling для RoPE и полностью безпозиционные подходы (NoPE) в специфических задачах, где длина контекста строго ограничена или предсказуема.

Практическая ценность материала

Статья содержит не только теорию, но и PyTorch-реализации ключевых методов, а также визуализации работы attention-механизмов. Это делает материал ценным не только для исследователей, но и для инженеров, желающих глубже понять внутреннюю работу LLM для оптимизации или кастомизации архитектур. Рашка отмечает, что понимание позиционных эмбеддингов — это фундамент для анализа новых архитектурных трендов, которые он планирует раскрыть в следующих публикациях.

Источник: Sebastianraschka ↗