Проблема: Агенты принимают слабые доказательства
LLM-агенты часто используются для проверки соответствия записей строгим организационным требованиям (например, готовность отчета об уязвимости к расследованию). Однако агенты склонны к двум критическим ошибкам: они принимают отчет после провала обязательной проверки или довольствуются слабым выводом, не пытаясь найти альтернативные пути подтверждения. Это создает риски безопасности и юридической небрежности.
Решение: PRIME (Precommitted Rules for Inference from Minimal Evidence)
Новая архитектура PRIME внедряет двухуровневый контроль. Перед началом проверки система фиксирует «маршруты доказательств» — строгие правила, определяющие, как именно каждый вывод может быть обоснован. Отдельная программа-реестр записывает результаты каждой проверки и категорически отказывается принимать любые выводы, не подтвержденные этими правилами. Если есть возможность получить более сильный вывод, PRIME либо указывает агенту на необходимые дополнительные проверки, либо выполняет их самостоятельно.
Результаты: Отказ от галлюцинаций и рост точности
Эксперименты проводились на наборе из 480 задач с публичными записями. Результаты демонстрируют радикальное улучшение качества рассуждений:
| Метрика | Стандартный агент | Агент с PRIME (только отказ) | Агент с PRIME (с доп. проверками) |
|---|---|---|---|
| Доля задач с необоснованными выводами | 26.7% | 0% | 0% |
| Средний балл обоснованных выводов (из 100) | — | 30.1 | 59.2 (максимум) |
Ключевой вывод: внедрение PRIME полностью устранило ложноположительные заключения (0% ошибок против 26.7% у базового агента), а активное проведение дополнительных проверок позволило достичь максимального возможного балла обоснованности.
Почему это важно
PRIME доказывает, что надежность LLM-агентов в критических задачах достигается не за счет увеличения размера модели, а за счет архитектурного ограничения пространства поиска решений. Система требует точных требований, проверок в известных локациях и достаточного вычислительного бюджета, но взамен гарантирует, что каждый вывод строго авторизован правилами и записан в реестр. Это шаг к полностью верифицируемому ИИ-рассуждению.
Источник: arXiv cs.AI ↗