TimeOmni-o1: LLM и TSFM объединены для анализа временных рядов

Проблема разрозненных модальностей

Реальные временные ряды (финансы, климат, IoT) редко существуют в вакууме: они сопровождаются текстовыми отчетами, новостями или событиями. Традиционные подходы страдают от разделения задач: LLM (Large Language Models) плохо справляются с длинными числовыми последовательностями, так как обрабатывают их как токены, а TSFM (Time Series Foundation Models) отлично прогнозируют, но не умеют читать или генерировать текст. Существующие гибриды часто используют TSFM только как энкодер, не вовлекая его в процесс генерации прогноза.

Архитектура TimeOmni-o1

Новая модель решает эту проблему через двунаправленную связь. Архитектура работает по следующему принципу:

• В сторону LLM: TSFM сжимает временной ряд в компактное представление, которое LLM использует для логического рассуждения вместе с текстовым контекстом.
• В сторону TSFM: Результаты рассуждений от LLM возвращаются в TSFM, который формирует финальный прогноз, учитывая семантический контекст.

Таким образом, одна модель одновременно читает и генерирует оба типа данных, сохраняя сильные стороны предобученных компонентов.

Датасет MMTR и результаты

Для обучения модели авторы создали датасет MMTR (Multimodal Time Series Reasoning). Он включает аннотированные цепочки рассуждений (reasoning traces) и охватывает 12 различных доменов с объемом более 500 000 образцов. На этом датасете TimeOmni-o1 превосходит как отдельные LLM и TSFM, так и существующие гибридные модели.

Сравнение производительности

Модель демонстрирует устойчивость на открытых бенчмарках, превосходя специализированные модели временных рядов. Ниже приведена сводка ключевых характеристик:

Работа опубликована 14 октября 2026 года в arXiv (cs.CL). Код и демо-страница доступны по ссылкам в оригинальной публикации.

Источник: arXiv cs.CL ↗