Выравнивание моделей по 100 парам: новый метод Optimal Transport

Проблема дефицита парных данных

Обычно для синхронизации двух предварительно обученных энкодеров (например, визуального и текстового) требуются миллионы парных примеров. Это создает барьер для задач, где сбор таких данных дорог или невозможен. Авторы Julien Kordes и Reuben Dorent предлагают решение для режима, когда доступно лишь N ~ 100–500 пар, при этом неспаренные данные в каждом модальности доступны в неограниченном количестве.

Механика метода: Distilled Optimal Transport

Метод работает в три этапа:

• Координатная система: Каждое представление выражается через его сходство с N парными «якорями» (anchors), помещая обе модальности в общую систему координат.
• Оптимальный транспорт (OT): Совпадение облаков точек решается через одну задачу энтропийного оптимального транспорта по всему пулу данных. Использование маржинальных ограничений (marginal constraints) противодействует эффекту «hubness», который часто ломает поиск ближайших соседей.
• Дистилляция: Полученный план сопоставления дистиллируется в два легких энкодера, что делает соответствие индуктивным (способным работать с новыми данными без переобучения).

Результаты на бенчмарках

Метод демонстрирует превосходство над существующими подходами при том же бюджете якорей на ключевых датасетах:

Почему это важно

Подход позволяет использовать независимые коллекции данных для каждой модальности, не требуя наблюдения обеих модальностей для каждого элемента вне набора якорей. Это снижает требования к разметке данных на порядки, открывая путь к эффективному обучению мультимодальных моделей в условиях ограниченных ресурсов.

Источник: arXiv cs.AI ↗