От эмпирики к теории: JEPA как HMM
Архитектура Joint-Embedding Predictive Architecture (JEPA), популяризированная Meta AI, долгое время оставалась «черным ящиком» с точки зрения строгой теории временных рядов. В новой работе Юнчао Хуанга (Yongchao Huang), опубликованной в arXiv (август 2026), показано, что полноиндексная по времени версия PIB-VJEPA (Predictive Information Bottleneck VJEPA) не просто предсказывает будущее, а реализует вычислительную структуру классической скрытой марковской модели (HMM).
Авторы выделяют три ключевых роли, совпадающих в обеих парадигмах:
- Stochastic context encoder (стохастический контекстный энкодер) выполняет роль амортизированного распределения фильтрации (amortized filtering distribution), извлекаяbelief о скрытом состоянии из наблюдений.
- Probabilistic predictor (вероятностный предиктор) определяет динамику скрытых состояний, действуя как марковский переход.
- Decoder (декодер) или инверсный целевой энкодер обеспечивает направление эмиссии обратно в пространство наблюдений.
Новая архитектура: Markov-Chain JEPA (MCJEPA)
Чтобы сделать эту связь практической, исследователи предложили модификацию MCJEPA. В этой модели стандартный латентный предиктор заменяется на обучаемую матрицу переходов. Это решение гарантирует точное соблюдение уравнений Чепмена-Колмогорова для многогоризонтного прогнозирования в случае конечных однородных цепей Маркова.
Подход расширяется и на более сложные сценарии:
- Дискретные переходы с условиями.
- Марковские ядра в непрерывном состоянии.
- Динамика непрерывного времени.
- Детерминированный временной JEPA рассматривается как вырожденный случай с ядром Дирака.
Информационный бутылочное горлышко как критерий качества
Обучение через Predictive Information Bottleneck (PIB) интерпретируется как поиск компактного предиктивного состояния. Авторы формулируют четкие условия для этой оптимизации:
- Сжатие (Compression) способствует минимальности состояния (удалению лишнего шума).
- Остаточная предсказуемость (Residual predictability) служит тестом на достаточность состояния (сохранение всей необходимой информации для прогноза).
Экспериментальные подтверждения
Контролируемые эксперименты подтвердили, что предложенная интерпретация позволяет:
- Обеспечить корректную композицию переходов.
- Воспроизвести фильтрацию в известных синтетических процессах.
- Демонстрировать «марковизацию» предсказаний.
Результаты работы дают временным моделям JEPA принципиально новое, строгое интерпретационное обоснование, связывая их с классической теорией состояний-пространств.
Источник: arXiv cs.AI ↗