Проблема «черного ящика» в VLM
Современные Vision-Language Models (VLM), такие как Qwen и Gemma, демонстрируют выдающиеся результаты, но их внутренняя логика остается загадкой. Существующие методы атрибуции обычно работают на уровне целых примеров (sample-level), не объясняя, какая именно часть изображения или какое слово в тексте повлияло на решение модели. Это критично для медицинских и юридических задач, где важна точность аргументации.
Решение: MOSAIC
Команда во главе с Лорой Яо (Laura Yao) представила MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization). Алгоритм обучает общее разреженное латентное пространство для изображений и текста, которое обладает четырьмя ключевыми свойствами:
- Разреженность: Концепции активны только в пределах своей модальности.
- Пространственная связность: Визуальные концепции привязаны к непрерывным областям (патчам) изображения.
- Выравнивание: Визуальные патчи точно соответствуют описывающим их текстовым фразам.
- Декорреляция: Концепции минимально пересекаются, что упрощает интерпретацию.
Методология и бенчмарки
Для декомпозиции влияния обучающих примеров через эти концепции используется алгоритм EK-FAC. Это позволяет локализовать вклад конкретных патчей и фраз. Оценка проводилась на задачах:
- Генерация подписей (captioning).
- Анализ рентгеновских снимков грудной клетки (chest X-ray understanding).
- Визуальные вопросы и ответы (VQA).
Ключевые результаты
Эксперименты показали, что абляция (удаление) латентных признаков, отранжированных по влиянию на обучающие данные, изменяет выход модели значительно сильнее, чем удаление признаков, отранжированных по частоте активации или силе сигнала. Это доказывает, что MOSAIC точно выявляет причинно-следственные связи.
| Метрика/Аспект | Результат MOSAIC | Значение |
|---|---|---|
| Локализация | Высокая точность привязки к патчам и фразам | Возможность объяснения «где» и «почему» модель приняла решение |
| Когерентность | Обученные признаки семантически связны | Отсутствие шумовых активаций, характерных для обычных автоэнкодеров |
| Влияние на вывод | Абляция influence-ranked latents меняет ответ сильнее | Подтверждение корректности атрибуции влияния обучающих данных |
| Тестовые модели | Qwen, Gemma | Применимость к современным открытым VLM |
Почему это важно
MOSAIC впервые связывает откуда берется поведение модели (обучающие данные) с чем (мультимодальные доказательства). Это открывает путь к созданию доверенных VLM для критических областей, где необходимо не просто предсказание, но и верифицируемое обоснование, основанное на конкретных визуальных и текстовых артефактах.
Источник: arXiv cs.AI ↗