Проблема односторонней верификации
Визуально-языковые модели (VLM) часто генерируют правдоподобные, но ошибочные ответы. Существующие методы самопроверки (self-verification) зависят от одного критерия или фиксированного промпта, что дает нестабильные оценки надежности. Авторы исследования систематически проанализировали влияние силы верификатора и дизайна промпта, выявив, что нет универсального промпта, доминирующего во всех задачах.
Решение: Фреймворк MOTIVE
Предложенный метод MOTIVE (Multi-View Self-VerificatiOn wiTh ReliAbility-Guided SelectiVE Rethinking) оценивает каждый кандидат-ответ с нескольких дополняющих друг друга перспектив. Модель обучается присваивать баллы надежности, выровненные с правильностью ответа. На этапе инференса этот балл управляет решением: «принять» или «пересмотреть» (rethink).
Ключевые метрики и результаты
Эксперименты на разнообразных мультимодальных бенчмарках показали, что MOTIVE превосходит сильные базовые линии самокоррекции. Главная выгода — снижение количества ненужных раундов рассуждения, что экономит вычислительные ресурсы и время.
| Аспект | Традиционные методы | MOTIVE |
|---|---|---|
| Критерий проверки | Один фиксированный промпт | Многоперспективный анализ |
| Оценка надежности | Нестабильная, зависит от задачи | Обученная, выровненная с правильностью |
| Внешние ресурсы | Часто требуются внешние судьи | Полностью автономная самопроверка |
| Эффективность | Высокое число лишних итераций | Сокращение ненужных ретинков |
Почему это важно
Метод позволяет VLM принимать решения о необходимости дополнительных вычислений «на лету». Это критически важно для развертывания надежных AI-ассистентов в реальном времени, где важна как точность, так и скорость отклика без привлечения сторонних LLM для валидации.
Источник: arXiv cs.AI ↗