От гипотезы к теореме: почему масштаб больше не главное
В статье, опубликованной 29 октября 2026 года, авторы из Meta AI (Янн ЛеКун и Рэндалл Балестрьери) превратили интуитивную гипотезу в строгую математическую теорему. Они доказали, что модели, обученные на разных модальностях (текст и изображение), сходятся к единому представлению мира, если использовать архитектуру JEPA (Joint-Embedding Predictive Architectures) с правильным выбором данных.
Ключевое открытие: стандартное предсказание следующего токена (next-token prediction), на котором построены современные LLM, является JEPA с «плохими видами» (bad views) — фрагментами одного документа. Именно поэтому языковые модели так трудно выровнять с визуальными моделями без колоссального масштабирования. Для истинного выравнивания нужны «хорошие виды» (good views) — два разных наблюдения одной сцены.
109M против 72B: разгромные метрики
Авторы протестировали текстовую JEPA с всего 109 миллионами параметров на корпусе из 940 млн веб-изображений. Результат превзошел ожидания: эта крошечная модель выровняла текстовые и визуальные эмбеддинги лучше, чем любые языковые модели до 72B параметров, и даже превзошла текстовый энкодер CLIP.
Эффективность «хороших видов» подтверждена цифрами: для достижения того же уровня выравнивания требуется в 42 раза меньше обучающих выборок, чем при использовании next-token prediction на том же корпусе.
Практический результат: Zero-Shot Captioning
Теория подтверждена на практике. Применив простое линейное преобразование (одну ротацию) к отдельно обученным энкодерам, авторы получили систему генерации подписей к изображениям. Модель показала результат CIDEr 0.838 на COCO.
На парном бенчмарке без пар (pair-free benchmark) текстовая JEPA показала 64% точности (top-5) на ImageNet-100, побив все результаты zero-shot языковых моделей до 8B параметров (у которых максимум 56%).
Сравнение подходов к выравниванию модальностей
| Метрика / Характеристика | JEPA (109M params) | LLM (до 72B params) | CLIP Text Encoder |
|---|---|---|---|
| Качество выравнивания (Text-Image) | Лучше всех | Уступает | Уступает JEPA |
| Zero-Shot Accuracy (ImageNet-100) | 64% (Top-5) | ~56% (Top-5) | Информация недостаточна |
| Эффективность данных | 42x эффективнее | Низкая (Next-token) | Средняя |
| Архитектура обучения | JEPA (Good Views) | Next-token (Bad Views) | Contrastive |
Почему это важно для индустрии
Результаты работы ЛеКуна и Балестрьери бросают вызов парадигме «больше данных и параметров = лучше». Они показывают, что качество обучающих пар (views) является более мощным рычагом для создания универсальных представлений мира, чем просто масштаб. Это открывает путь к созданию более легких, эффективных и способных к кросс-модальному пониманию моделей, не требующих вычислительных ресурсов, сопоставимых с текущими гигантами ИИ.
Источник: Arxiv ↗