Проблема накопления ошибок (Error Accumulation)
В первой части серии мы выяснили, что Mean Squared Error (MSE) часто скрывает истинную ошибку модели. Во второй части фокус смещается на autoregressive rollout (авторегрессионное развертывание) — процесс, при котором модель предсказывает следующий шаг, используя предыдущее предсказание как вход. В задачах прогнозирования физических сигналов это приводит к экспоненциальному росту неопределенности.
Ключевая проблема заключается в том, что даже небольшие ошибки на ранних шагах времени (t=1, t=2) многократно усиливаются на поздних этапах (t=100+). Стандартная метрика MSE усредняет эти ошибки, создавая ложное впечатление о стабильности модели, хотя в реальности траектория прогноза полностью расходится с реальностью.
Распространение неопределенности (Uncertainty Propagation)
Исследование демонстрирует, как неопределенность распространяется через временные ряды. Если модель не учитывает корреляцию ошибок между шагами, доверительные интервалы становятся нереалистично узкими или широкими, что делает их непригодными для принятия решений в критических системах (например, в энергетике или метеорологии).
Почему MSE «лжет» в этом контексте?
MSE penalizes large errors quadratically, но в autoregressive режиме ошибка на шаге N зависит от ошибки на шаге N-1. Это создает систематическое смещение, которое не улавливается стандартной оптимизацией. Модель может иметь низкий MSE на коротких горизонтах, но быть полностью бесполезной на длинных.
| Метрика / Аспект | Поведение при Autoregressive Rollout | Влияние на оценку модели |
|---|---|---|
| MSE (Mean Squared Error) | Усредняет ошибки по всем шагам, маскируя экспоненциальный рост на поздних t | Занижает реальную ошибку на длинных горизонтах |
| MAE (Mean Absolute Error) | Более устойчив к выбросам, но все равно усредняет | Лучше MSE, но не отражает динамику неопределенности |
| Uncertainty Propagation | Не учитывает корреляцию ошибок между шагами | Доверительные интервалы становятся неинформативными |
| Probabilistic Forecasting | Требует моделирования распределения, а не точечных предсказаний | Позволяет корректно оценить риск на длинных горизонтах |
Что делать? Переход к вероятностному прогнозированию
Авторы статьи рекомендуют отказаться от оптимизации только по MSE в пользу метрик, учитывающих распределение прогнозов, таких как CRPS (Continuous Ranked Probability Score) или Log-Likelihood. Это позволяет модели обучаться не только на точности среднего значения, но и на корректной оценке неопределенности, что критически важно для autoregressive моделей.
В следующих частях серии будет рассмотрено, как внедрить эти подходы в современные архитектуры нейронных сетей для физических сигналов.
Источник: Towards Data Science ↗