Что такое Timestral и почему это важно
Mistral AI выпустила Timestral — первое семейство фундаментальных моделей (TSFM) для прогнозирования временных рядов. В отличие от классических методов (ARIMA) или глубоких моделей, требующих дообучения под каждый датасет, Timestral работает в режиме zero-shot: она применяет паттерны, выученные на синтетических данных, к новым, ранее не виденным сериям.
Ключевое преимущество — возможность запуска на стандартных серверных CPU. Модель Timestral-209M весит всего 837 МБ (в fp32) и не требует GPU для инференса, что делает её идеальной для edge-устройств и корпоративных серверов с ограниченными ресурсами.
Архитектура и технические детали
Семейство состоит из 4 моделей с количеством параметров: 5M, 28M, 123M и 209M. Максимальный контекст составляет 32 768 временных шагов. Архитектура основана на causal patch-based transformer с двумя инновациями:
- Decoupled Horizon Forecasting (DHF): Прогнозные токены читают полную историю, а наблюдаемые значения остаются в контексте (в отличие от маскирования в Toto 2.0 и TimesFM-3).
- Covariate-aware attention: Поддержка прошлых (past-only) и будущих (known-future) ковариат без утечки данных из будущего.
Каждый шаг прогноза выдает 21 квантиль, что позволяет строить вероятностные прогнозы. Один прямой проход (forward pass) покрывает горизонт до 1 024 шагов.
Сравнение с конкурентами
Модель Timestral-209M заняла первое место среди предобученных zero-shot моделей на бенчмарках GIFT-Eval, TIME и fev-bench. Она превосходит Google TimesFM-3, особенно в навыках SQL (fev-bench), и использует более либеральную лицензию (Modified MIT против Non-commercial у Google).
| Характеристика | Timestral-209M | TimesFM-3 (Google) | Chronos-2 (Amazon) | Toto-2.0 (Datadog) |
|---|---|---|---|---|
| Параметры | 209M | 330M | 120M | 2.5B |
| Лицензия | Modified MIT | Non-commercial v1.0 | Apache 2.0 | Apache 2.0 |
| Макс. контекст | 32,768 шагов | Не раскрыто | 8,192 шагов | Не раскрыто |
| GIFT-Eval MASE | 0.658 | 0.667 | 0.698 | 0.696 |
| fev-bench SQL Skill | 50.39 | 48.99 | 47.28 | 44.42 |
| Размер весов (fp32) | 837 MB | Не раскрыто | Не раскрыто | 9.1 GB |
Производительность на CPU
Тестирование проводилось на стандартном серверном CPU (8 потоков). Задача: прогноз на 1 день вперед по истории за 3 недели (интервал 15 минут).
- Timestral-5M: 10 мс
- Timestral-28M: в 5 раз быстрее 209M
- Timestral-209M: 140 мс
Модель Timestral-123M показывает результаты, отличающиеся от 209M всего на 0.2%, при этом работая в 3/4 от времени инференса.
Как запустить
Модели доступны на Hugging Face. Установка через pip:
pip install git+https://github.com/mistralai/timestral.git
Требования: Python 3.10+, PyTorch 2.4+. Версия 209M доступна как Public Preview. Для тонкой настройки (fine-tuning) на проприетарных данных доступен сервис Mistral Forge.
Бенчмарки
| Бенчмарк | Timestral-209M | Chronos-2 | TimesFM-3 | Toto-2.0-2.5B |
|---|---|---|---|---|
| GIFT-Eval MASE | 0.658score | 0.698score | 0.667score | 0.696score |
| GIFT-Eval CRPS | 0.446score | 0.485score | 0.456score | 0.476score |
| TIME MASE | 0.626score | 0.662score | 0.64score | 0.64score |
| TIME CRPS | 0.522score | 0.556score | 0.536score | 0.532score |
| fev-bench SQL skill | 50.39score | 47.28score | 48.99score | 44.42score |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗