Проблема ложной уверенности
Большие языковые модели (LLM) демонстрируют высокую точность в проверке фактов, но их стандартная архитектура заставляет делать бинарный выбор: «истина» или «ложь». Это скрывает критическую проблему надежности — система может выдать уверенный вердикт, даже если подтверждающие доказательства слабые, разрозненные или противоречивые. Исследователь Dekun Yang предлагает решение через фреймворк Evidence Chain Evaluation (ECE), который вводит третью опцию: «неопределенность» (abstention).
Как работает агент ECE
Система представляет собой агента, использующего инструменты (tool-using agent). Он собирает доказательства через три канала:
- Обычный веб-поиск;
- Поиск по научным базам данных;
- Исполняемые проверки (executable checks).
На основе собранных данных агент возвращает структурированный вердикт, включающий уровень уверенности и метаданные источников. Если доказательная цепочка недостаточна, система отказывается от ответа, что работает как механизм безопасности.
Результаты на ECE-Bench
Тестирование проводилось на наборе данных ECE-Bench. Ключевая метрика — selective accuracy (точность только на тех утверждениях, по которым система дала ответ) — достигла 97.8%. Это означает, что когда ECE «решается» ответить, он почти всегда прав. Система отказалась от ответа в 6 из 95 случаев, и все эти случаи пришлись на источники низкого уровня надежности (L4).
| Метрика | Значение | Комментарий |
|---|---|---|
| Standard Accuracy | 91.6% | Общая точность на всех утверждениях |
| Coverage | 93.7% | Доля утверждений, по которым дан ответ (без отказа) |
| Selective Accuracy | 97.8% | Точность только на подтвержденных ответах |
| Отказы (Abstention) | 6 из 95 | Концентрируются в зонах слабой доказательной базы (L4) |
Почему это важно
Хотя ECE не превосходит сильные базовые модели по общим метрикам калибровки (ECC, Brier score, AURC), он демонстрирует четкий компромисс: система жертвует охватом (coverage) ради радикального повышения надежности. Это смещает парадигму с «попытки ответить на всё» на «ответить только когда уверен». Код фреймворка доступен на GitHub: cheshireyang/ECE.
Источник: arXiv cs.AI ↗