Проблема «черного ящика» в мультимодальных моделях
Мультимодальные большие языковые модели (MLLM) часто работают как черные ящики: они интегрируют данные из разных источников (текст, изображения), но не объясняют, какая именно модальность повлияла на финальный ответ. Существующие подходы, такие как разделение задачи на шаги, улучшают точность, но не квантифицируют вклад каждого источника. Это создает риски: модель может опираться на шум или дистракторы, не осознавая этого.
Решение: EDMA и логическая энтропия
Авторы (Emanuele Mezzi, Gertjan Burghouts, Fabio Massacci, Mengyuan Zhang) предложили Entropy-Driven Multimodal Answering (EDMA). Метод формализует процесс ответа как итеративное снижение энтропии. Ключевые компоненты:
- Модально-условное разбиение: Оценка снижения энтропии для каждой модальности по отдельности.
- Слияние на основе энтропии: Учет комплементарной информации между модальностями.
- Выбор траектории: Селекция пути ответа, который минимизирует логическую энтропию, что коррелирует с правильностью рассуждений.
Результаты: Превосходство над базовыми методами
EDMA была протестирована на стандартных бенчмарках MMQA. Метод демонстрирует статистически значимое улучшение по сравнению с популярными техниками промптинга. Ниже приведено сравнение прироста метрик:
| Метрика | Прирост над Planning Prompting | Прирост над Chain-of-Thought |
|---|---|---|
| F1 Score | +12.8 | +18.6 |
| LLM-J (Judge Score) | +4.6 | +8.3 |
Кроме того, EDMA конкурентоспособна с системами на базе нескольких агентов (multi-agent systems) и превосходит методы self-consistency.
Почему это важно для индустрии
Главное открытие статьи — логическая энтропия является монотонным селектором правильных путей рассуждений. Исследователи показали, что высокий уровень энтропии коррелирует с ложноположительными срабатываниями. Это позволяет использовать энтропию как надежный прокси-индикатор для фильтрации неверных ответов до их финальной генерации, повышая прозрачность и надежность MLLM в критических задачах.
Контекст публикации
Работа принята к публикации в NeurIPS 2026 (подана в arXiv 19 октября 2026 года). Это подтверждает актуальность подхода для сообщества AI-исследователей, занимающихся интерпретируемостью и надежностью мультимодальных систем.
Источник: arXiv cs.AI ↗