Проблема «распределения ресурсов» в JEPA
Стандартные архитектуры Joint-Embedding Predictive Architectures (JEPAs), такие как I-JEPA или V-JEPA 2, сталкиваются с проблемой распределения вычислительных мощностей. В монолитной модели структуры с высокой дисперсией доминируют, подавляя более слабые режимы данных, что приводит к конфликтующим градиентам. JEPA-Anything решает эту проблему через метод Orthogonal Predictive Factorization (OPF).
OPF разделяет латентный целевой вектор ширины d на K ортогональных подпространств ширины r (где d = K × r). В большинстве экспериментов используется K = 4. Каждому фактору назначается отдельный предиктор, а результаты объединяются через псевдообратную матрицу Мура-Пенроуза. Для стабильности применяются три регуляризатора: ортогональность, активность факторов и дисперсия энкодера.
Результаты на 7 доменах: цифры и метрики
Команда протестировала подход на задачах компьютерного зрения, биологии, клинических траекторий, управления, молекулярной динамики, физических полей и погоды. JEPA-Anything превзошел базовые модели JEPA во всех 10 задачах динамики.
| Домен | Задача / Метрика | Результат JEPA-Anything | Сравнение / Базовая модель |
|---|---|---|---|
| Биология (Single-cell) | Zero-shot PBMC clustering (AvgBIO) | 0.7752 | Cell-JEPA: 0.7194 |
| Биология (Perturbation) | Norman perturbation Pearson | 0.814 | Базовая: 0.787 |
| Клиника (UK Biobank) | Прогноз 1000+ событий (mean PRAUC) | 0.718 | Matched JEPA: 0.711 |
| Control (Interventional Pong) | Single-intervention MSE | Снижение на 34.83% | Улучшение по сравнению с базой |
| Физика (APEBench Burgers) | 6-step rollout error | Снижение на ~44.7% | Улучшение во всех семах |
| Молекулы (TrajCast) | 100-step rollout (MAE/RMSD) | Наименьшая ошибка | Вода, кварц, парацетамол, бензол |
Научные открытия и планирование
Помимо технических метрик, модель продемонстрировала способность к научному анализу. Анализ латентных факторов выделил комбинацию IL-18 и блокады CD73 как перспективное вмешательство при раке, что было подтверждено влажными лабораторными экспериментами (organoids, мыши). Также модель восстановила закон Кеплера с наклоном -1.4991 против теоретического -1.5.
В задачах планирования (CEM) результаты смешанные: JEPA-Anything улучшил показатели на Walker2d и HalfCheetah, но стандартная JEPA показала лучшие результаты на Hopper.
Сравнение с конкурентами
В отличие от V-JEPA 2 (видео) или DreamerV3 (RL), JEPA-Anything предлагает универсальный рецепт. Код библиотеки доступен под лицензией Apache-2.0, а чекпоинты размещены на Hugging Face. Это позволяет исследователям не создавать новые архитектуры для каждой новой области, а адаптировать существующую через доменные адаптеры.
Источник: MarkTechPost ↗