LLM-рецензенты портят решения: как «замок на доказательствах

LLM-рецензенты портят решения: как «замок на доказательствах» спасает от ошибок

Исследование показывает, что стандартные системы рецензирования LLM часто заменяют верные решения на ошибочные. Новый метод «Evidence-Gated Authority» снижает такие ошибки, но эффективность зависит от конкретной модели.

AIРедакция AIKraftавто-обзор источников

1 мин чтения·источник: arXiv cs.AI

Проблема: рецензент как источник ошибок

В многоагентных системах LLM часто добавляют «рецензента» для проверки решений основного агента. Однако исследователи из работы «Who May Overrule the Agent? Evidence-Gated Authority in LLM Review Institutions» (arXiv:2611.05390) выявили критический недостаток: рецензент не только исправляет ошибки, но и заменяет уже правильные решения на неверные. Это явление авторы называют «коррупцией верных предложений» (corruption of correct proposals).

Решение: Evidence-Gated Authority

Авторы предлагают механизм «запретительного шлюза» (evidence gate). Рецензент получает право отменить решение агента только при двух условиях:

Обнаружено механически валидное нарушение связывающего ограничения (binding-constraint violation).
Предложено корректное исправление, соответствующее этим ограничениям.

Это ограничивает полномочия рецензента, предотвращая произвольную замену решений, которые были верны изначально.

Эксперимент и результаты

Тестирование проводилось на двух локальных моделях с открытым кодом (Qwen и Mistral) в 96 задачах пространственной политики и на бенчмарке переноса портфеля из 96 задач. Результаты показали, что «замок» резко снижает порчу верных решений, сохраняя при этом большинство исправлений нарушений.

В проспективной валидации рецензенту дали явный выбор: сохранить, заменить или эскалировать решение. Результаты различались кардинально:

Модель	Коррупция верных решений	Поведение при исправлениях
Qwen	0% (полное устранение)	Отказывалась от всех исправлений, затрагивающих только благосостояние (welfare-only), которые Mistral часто пыталась применить.
Mistral	100% (заменила все 48 верных предложений)	Продолжала активно заменять решения, игнорируя ограничения интерфейса.

Вывод: нет универсального решения

Главный вывод исследования: restricted review (ограниченный рецензент) не является универсальным спасением. Успех зависит от трех факторов:

Компетенции самой модели-рецензента.
Дизайна интерфейса взаимодействия.
Объема связывающих полномочий (jurisdiction).

Разные модели по-разному реагируют на одни и те же правила: Qwen стала более консервативной и точной, тогда как Mistral продолжала ошибаться даже при наличии строгих ограничений.

Источник: arXiv cs.AI ↗