Революция в эффективности: 209M против гигантов
Mistral AI представила Timestral — первое семейство фундаментальных моделей (Time Series Foundation Models, TSFM), предназначенных для прогнозирования временных рядов. Ключевое достижение компании: флагманская модель с всего 209 миллионами параметров заняла 1-е место на всех трех основных публичных бенчмарках отрасли: GIFT-Eval, TIME и fev-bench.
Это не просто победа в точности. Модель превосходит предыдущие достижения (SOTA) при использовании лишь двух третей параметров по сравнению с аналогами. Результаты получены с одного чекпоинта, без использования ансамблирования, что делает их особенно значимыми для промышленного внедрения.
Семейство моделей: баланс скорости и точности
Timestral доступна в виде семейства из четырех моделей с разным количеством параметров: 5M, 28M, 123M и 209M. Все они используют единую архитектуру и находятся на «Парето-фронте» точности относительно размера. Это означает, что для любого заданного размера модели Timestral является самой точной среди публичных аналогов.
Особое внимание уделено инференсу без GPU. На стандартном серверном CPU (8 потоков) задержка составляет:
- 10 мс для модели 5M (прогноз на 1 день по истории 3 недель с интервалом 15 мин);
- 140 мс для модели 209M.
Модель 28M работает в 5 раз быстрее флагмана, а 123M достигает 99.8% точности 209M при 75% задержки.
Сравнение с конкурентами
Модели Mistral демонстрируют превосходство над известными решениями, такими как Chronos-2, TimesFM-3 и Falcon-2.0, при значительно меньшем объеме параметров. Ниже приведены позиции в топах бенчмарков:
| Бенчмарк | Метрика | Позиция Timestral | Контекст |
|---|---|---|---|
| GIFT-Eval | GMean MASE / WQL | 1-е место (из 83 участников) | Лучший результат среди pre-trained zero-shot моделей |
| TIME | GMean MASE / CRPS | 1-е место (из 35 участников) | Превосходство над TimesFM-3 и Falcon-2.0 при меньшем размере |
| fev-bench | SQL Skill Score | 1-е место (из 37 участников) | Высший балл по навыку прогнозирования |
Технические инновации: от синтетических данных до агентов
Модель обучена на преимущественно синтетических данных с реалистичной временной динамикой, а затем дообучена на смеси реальных и синтетических данных. Ключевые архитектурные решения:
- Decoupled Horizon Forecasting (DHF): Разделение контекста и целевых значений. История наблюдений сохраняется полностью, что позволяет использовать каждое значение и как цель, и как контекст для будущих прогнозов.
- Covariate-aware attention: Поддержка категориальных ковариат (например, день недели, статус оборудования) и известных будущих ковариат (графики производства, погода) без утечки данных из будущего в прошлое.
- Вероятностный прогноз: Модель выдает набор квантилей, а не одно значение, что позволяет оценивать неопределенность и планировать обслуживание на основе рисков.
Применение в промышленности
Timestral предназначена для работы в связке с LLM Mistral в мультиагентных системах. Пример сценария: модель непрерывно анализирует потоки данных с тысяч датчиков, обнаруживает аномалии (например, вибрацию насоса), а затем AI-агент проводит анализ первопричин, опираясь на логи обслуживания и мануалы, формируя готовый план действий для менеджера.
Источник: Mistral ↗