Проблема разрыва в референциальном выравнивании
Дети учатся сопоставлять слова с объектами, обрабатывая около 100 миллионов слов входных данных. Современные мультимодальные модели (VLM), обученные на сопоставимых масштабах, делают это значительно менее надежно. Авторы статьи из NeurIPS 2026 Workshop "The BabyVLM Workshop" (Rajdeep Pal, Jotiraditya Banerjee, Saptarshi Pani) утверждают, что причина кроется в структуре: стандартная задача next-token captioning не имеет переменной, обозначающей «это слово относится к этому региону», поэтому обучение не оказывает прямого давления для заземления (grounding) слов.
Механика GAVAGAI: Оптимальный транспорт с ограничениями
Авторы предлагают решить эту проблему, рассматривая каждый сценарий как задачу назначения между содержательными словами и увиденными регионами. Эта задача решается с помощью ентропийного оптимального транспорта (entropic optimal transport) с двумя ключевыми ограничениями:
- Столбец NOTHING: Слово может быть назначено специальному столбцу «ничего», что критично, так как большинство содержательных слов в речи опекунов не называют видимые объекты.
- Ограничение емкости: Ни один регион не может получить более ограниченной доли массы назначения, что кодирует принцип взаимной исключительности (mutual exclusivity).
Шаг выравнивания требует всего около 8 итераций Sinkhorn, что незначительно по сравнению с вычислительной нагрузкой на визуальный энкодер.
Результаты на датасете SAYCam
Метод был протестирован на корпусе видео для младенцев SAYCam. Добавление функции потерь выравнивания к модели next-token captioning дало существенный прирост метрик:
| Метрика | До GAVAGAI | После GAVAGAI | Прирост |
|---|---|---|---|
| Word-to-Picture Accuracy | 32.4% | 48.7% | +16.3 п.п. |
| Localization IoU | 0.18 | 0.38 | +0.20 |
Симуляции и сравнение с контрастивными моделями
В контролируемых симуляциях наивная версия (row-wise softmax, принуждающая каждое слово к региону) давала 0.000 точности при реалистичных уровнях отсутствия референсов, тогда как метод GAVAGAI достигал 0.075 на зашумленных данных и 0.700 на чистых. Однопараметрическая версия модели воспроизвела точность взрослого кросс-ситуационного обучения (RMSE 0.024).
Авторы подчеркивают, что их цель — не побить SOTA контрастивных моделей, а показать, что предложенный лосс значительно улучшает captioning-объектив в условиях высокой доли нерелевантных слов, делая обучение более биологически правдоподобным.
Источник: arXiv cs.CL ↗