Проблема жесткой унификации
Единые мультимодальные модели (UMM) стремятся объединить понимание и генерацию в одном бэкбоне. Однако традиционные подходы используют фиксированную структуру, где все входные данные и функции проходят через одинаковую глубину и паттерны разделения параметров. Это приводит к конфликту представлений: способности к пониманию и генерации часто конкурируют за одни и те же вычислительные ресурсы, что снижает общую эффективность.
Решение: Гибкое распределение вычислений
Команда авторов во главе с Иньи Ло (Yinyi Luo) предложила фреймворк FlexUMM, который отказывается от статичной архитектуры. Ключевая идея заключается в динамическом решении для каждого входного сигнала: когда сохранять общие вычисления для коммуникации между функциями, а когда маршрутизировать специализированные мощности. Кроме того, система может досрочно остановить обработку, если представление уже достаточно зрелое.
Двойное преимущество: Точность и Эффективность
FlexUMM улучшает показатели UMM по двум направлениям:
- Точность: Снижение вредной конкуренции между задачами понимания и генерации.
- Эффективность: Избегание избыточных вычислений, когда представление данных уже сформировано.
Модель-агностичный плагин
Важно отметить, что FlexUMM не требует переобучения базовых моделей с нуля. Он работает как функциональный плагин, совместимый с существующими UMM, делая их более сильными и эффективными без изменения исходной архитектуры. Исходный код доступен для проверки и внедрения.
Источник: arXiv cs.AI ↗