Прорыв в мультивариативности
Ранее все версии TimesFM (до 2.5) были унивариативными: они анализировали историю одного ряда для его прогнозирования. TimesFM-3 меняет парадигму. Это фундаментальная модель с 330 миллионами параметров, нативно обученная на более чем 1 триллионе временных точек (реальных и синтетических данных). Она принимает на вход несколько целевых рядов, прошлые ковариаты и ковариаты с известным будущим (например, календарь акций), выдавая результат zero-shot, без специфического дообучения под задачу.
Архитектура: патчи и двухмерное внимание
Основа модели — декодер-трансформер. Данные группируются в патчи по 32 шага. Ключевое нововведение — использование двух типов внимания, работающих в двухмерной сетке:
- Causal temporal attention (горизонтально): строго причинное внимание, которое видит только прошлые токены внутри одного ряда, предотвращая утечку данных.
- Full variate attention (вертикально): позволяет токену в определенный момент времени «видеть» все другие ряды в этот же момент, выявляя кросс-рядовые корреляции.
Для ковариат с известным будущим (past-future covariates) применяется трюк с «заглядыванием вперед» (lookahead), где текущий патч конкатенируется с будущими, чтобы модель учитывала запланированные события.
Один проход вместо многих
Предыдущие версии декодировали патч за патчем, что увеличивало задержку и накапливало ошибку. TimesFM-3 использует стратегию Contiguous Patch Masking (введенную в TiRex). Маскированные токены-заполнители добавляются для всего горизонта прогнозирования. За один forward pass модель заполняет все маскированные патчи горизонта одновременно. На каждом шаге горизонта выдается 9 квантилей (от 10-го до 90-го процентиля), что дает вероятностную оценку неопределенности.
Результаты бенчмарков
TimesFM-3 демонстрирует лидерские позиции среди предобученных фундаментальных моделей. Ниже приведено сравнение позиций в основных тестах:
| Бенчмарк | Позиция TimesFM-3 | Контекст сравнения |
|---|---|---|
| fev-bench | #1 Overall | 100 реальных задач прогнозирования |
| TIME leaderboard | #1 Overall | 50 доменных наборов данных, 98 задач оценки |
| GIFT-Eval | #1 Among Foundation Models | Сравнение с Chronos-2, Toto 2.0 и TimesFM-2.5 |
Лицензирование и доступность
Важно отметить ограничения: хотя код репозитория TimesFM распространяется по лицензии Apache-2.0, веса модели TimesFM-3 доступны по лицензии timesfm-non-commercial-license-v1.0. Это означает, что модель можно использовать для бенчмарков и исследований, но запрещено развертывать её в коммерческих продуктах или продакшен-API. Для коммерческого использования рекомендуется версия TimesFM 2.5.
Веса модели доступны на Hugging Face, а техническая документация — в блоге Google Research.
Источник: MarkTechPost ↗