Проблема перестановочной инвариантности
Трансформеры, изначально созданные для NLP, обладают фундаментальным свойством — перестановочной инвариантностью. Это означает, что механизм Self-Attention вычисляет взвешенную сумму всех элементов входной последовательности, не учитывая их исходный порядок. Для текста это часто не критично (смысл часто сохраняется при перестановке слов в пределах предложения), но для временных рядов (Time Series) это катастрофа.
Временные ряды по своей природе зависят от времени: значение в момент $t$ связано с $t-1$, $t-2$ и так далее. Если подать на вход модели данные, перемешав их во времени, результат предсказания останется идентичным, хотя физический смысл данных будет полностью искажен.
Визуализация потери информации
Исследование демонстрирует, как модель "видит" данные без позиционных эмбеддингов. При отсутствии явного указания на позицию, Self-Attention агрегирует информацию из всех временных шагов одинаково. Это приводит к тому, что:
- Тренды исчезают: Модель не может различить восходящий или нисходящий тренд, так как набор значений остается тем же самым.
- Сезонность теряется: Паттерны, зависящие от отступов во времени (lag), становятся неразличимыми.
- Шум доминирует: Без контекста порядка модель начинает подстраиваться под локальные аномалии, игнорируя глобальную структуру.
Роль позиционного кодирования (Positional Encoding)
Для решения этой проблемы в архитектуру вводятся позиционные эмбеддинги. Они добавляются к эмбеддингам признаков (feature embeddings) до подачи в слой Self-Attention. Это позволяет модели "знать", где именно в последовательности находится каждый элемент.
Ключевые выводы из визуального гида:
- Восстановление порядка: Позиционные коды позволяют механизму внимания взвешивать соседние точки сильнее, чем удаленные, восстанавливая причинно-следственные связи во времени.
- Обобщение: Правильно настроенное позиционное кодирование (например, синусоидальное или обучаемое) помогает модели лучше обобщать данные на новых временных отрезках.
Практическое значение для Data Science
При адаптации Transformer-архитектур (таких как Informer, Autoformer или стандартный Transformer) для задач прогнозирования временных рядов, игнорирование позиционного кодирования приводит к значительному падению метрик качества (MAE, RMSE). Авторы подчеркивают, что позиционная информация является не просто "технической деталью", а необходимым условием для того, чтобы нейросеть могла уловить динамику изменений во времени, а не просто статистическое распределение значений.
Источник: Towards Data Science ↗