Проблема существующих моделей
Современные фундаментальные модели временных рядов (TSFM) демонстрируют сильные результаты в zero-shot режиме, но они плохо подходят для финансов. Основные причины:
- Вычислительная сложность: Использование self-attention приводит к квадратичному росту затрат от длины последовательности и количества переменных.
- Полнота данных: Большинство моделей предполагают полностью наблюдаемые входные данные, что нереалистично для финансовых рынков, где часто встречаются пропуски.
- Специфика данных: Предобучение на общих доменах не учитывает уникальную динамику финансовых инструментов (акции, форекс, крипто, макроэкономика).
Архитектура EXAONE Finance
Команда LG AI Research (Seunghan Lee и соавторы) предложила архитектуру без внимания (attention-free), заменяя self-attention двумя линейными по сложности операторами:
- Causal 1D Convolution: Для временного смешивания (temporal mixing).
- Group-aware Pooling MLP: Для смешивания переменных (variate mixing).
Для борьбы с пропусками данных введена masked context augmentation — во время обучения модель намеренно подвергается воздействию непрерывных пропущенных участков, что повышает её устойчивость к неполным данным.
Предобучение и данные
Модель предобучена на крупномасштабном финансовом корпусе, включающем:
- Акции (equities)
- Валютные пары (forex)
- Товары (commodities)
- Криптоактивы (crypto-assets)
- Облигации (fixed income)
- Макроэкономические индикаторы
Результаты на FinVerse
На бенчмарке FinVerse, охватывающем разнообразные классы активов, EXAONE Finance заняла первое место во всех трех категориях оценки:
| Категория оценки | Результат | Значение |
|---|---|---|
| Точность точечного прогноза (Point-forecast accuracy) | 1-е место | Лучшая предсказательная сила по метрикам ошибки |
| Кросс-секционное ранжирование активов (Cross-sectional asset ranking) | 1-е место | Наилучшая способность сортировать активы по ожидаемой доходности |
| Прибыльность портфеля (Portfolio profitability) | 1-е место | Максимальная доходность стратегий, построенных на прогнозах модели |
Почему это важно
EXAONE Finance доказывает, что отказ от механизма внимания в пользу линейных операций позволяет эффективно обрабатывать длинные, многоканальные и разреженные финансовые панели. Это открывает путь к созданию более быстрых и масштабируемых систем для алгоритмической торговли и риск-менеджмента, способных работать с реальными «грязными» данными рынков.
Источник: arXiv cs.AI ↗