Проблема единого порога доверия
Постоянная память AI-агентов часто страдает от того, что слабые утверждения сохраняются как установленные факты. Авторы исследования Olukunle Owolabi, Pulkit Gupta и Fei Wang доказывают, что использование единого глобального порога уверенности (global confidence threshold) неэффективно из-за «резкой асимметрии надежности» между типами информации. Простое повышение порога отбрасывает полезные данные, а понижение — пропускает ложные.
Эмпирические данные: 77.9% против 96.2%
Исследование проводилось на базе развернутого конвейера памяти для «холодного старта» (cold-start memory pipeline) с использованием 100 синтетических персонажей. Был проанализирован набор из 4 715 кандидатных утверждений. Результаты выявили критическую разницу в достоверности источников для разных категорий:
| Категория утверждений | Доля, поддерживаемая источником | Характеристика |
|---|---|---|
| Ценности и убеждения (Values & Beliefs) | 77.9% | Низкая надежность, высокая субъективность |
| Все остальные категории | 96.2% | Высокая надежность, объективные факты |
Решение: Категорийно-условное удержание
Авторы предложили метод, при котором порог уверенности адаптируется под семантическую категорию утверждения. Для категорий с низкой надежностью (например, ценности) порог устанавливается строже, что позволяет агрессивно отбрасывать слабо подтвержденные данные, сохраняя при этом либеральный подход к фактам.
Результаты: -36% ложных фактов
В повторных тестах на отложенных выборках (held-out evaluation) применение строгого порога только для категории «ценности» дало следующие результаты:
- Снижение ложных сохранений: доля неподтвержденных утверждений в памяти сократилась с 6.2% до 4.0% (относительное снижение ≈36%).
- Сохранение покрытия: метод сохранил на 13 процентных пунктов больше полезной информации (95% CI 9.8–16.0) по сравнению с глобальным порогом при сопоставимом уровне удержания.
Значение для индустрии
Работа, принятая в Social Agent Workshop на NeurIPS 2026, демонстрирует, что надежное удержание информации зависит не только от общей уверенности модели, но и от типа утверждения. Категорийно-условный порог действует как простая, но эффективная форма «селективного предсказания» (selective prediction) на этапе записи в память, что критически важно для создания надежных автономных агентов.
Источник: arXiv cs.AI ↗