Omni-Woodpecker: борьба с галлюцинациями в мультимодальных LLM без дообучения

Проблема: галлюцинации в Omni LLM

Мультимодальные большие языковые модели (Omni LLMs, OLLMs) демонстрируют выдающиеся результаты в совместном анализе аудио и видео, но страдают от перекрестных галлюцинаций. Существующие методы борьбы с ними часто работают на уровне вывода (output-level), игнорируя глубинную проблему: запутанность фактических данных (grounding evidence) и обученных априорных знаний (learned priors) внутри объединенных представлений.

Решение: Omni-Woodpecker (OWP)

Авторы предлагают OWP — фреймворк, не требующий дообучения (training-free). Метод переносит фокус с манипуляций на выходе на перераспределение представлений, обусловленное конфликтами. Алгоритм работает в три этапа:

• Выявление конфликтов: Поиск перекрестномодальных противоречий через комплементарные модально-специфичные представления.
• Ортогональная декомпозиция: Разделение скрытых состояний на фактические доказательства и конкурирующие априорные знания.
• Адаптивное перераспределение: Подавление вводящих в заблуждение априорных знаний и восстановление проигнорированных доказательств перед декодированием.

Результаты: цифры и метрики

Эксперименты проводились на базе модели Qwen2.5-Omni-7B и VideoLLaMA2-AV. OWP демонстрирует значительный прирост точности на специализированных бенчмарках для мультимодальных моделей (CMM, AVHBench) и сохраняет стабильные улучшения на общих задачах рассуждения.

Значимость для индустрии

Ключевое преимущество OWP заключается в его архитектурной независимости. Поскольку метод не требует дообучения модели, его можно интегрировать в существующие пайплайны как плагин. Это снижает вычислительные затраты на исправление ошибок и позволяет быстро адаптировать решения под новые версии мультимодальных моделей. Код метода уже опубликован и доступен для сообщества.

Источник: arXiv cs.AI ↗