Проблема доверия к AI-агентам
С развитием LLM и команд агентов всё чаще возникает ситуация, когда сгенерированное действие синтаксически корректно, но фактически непригодно. Оно может быть устаревшим, конфликтовать с текущим состоянием или разрушать доказательства, необходимые для ремонта системы. Традиционные подходы часто доверяют новому предложению агента без глубокой проверки, что ведет к каскадным ошибкам.
Решение: Agentic Transaction Processing (ATP)
Авторы (Edward Y. Chang, Longling Geng, Emily J. Chang) предлагают модель ATP, которая рассматривает любые предложения от AI-агентов как «недоверенные». Действие не становится частью системы, пока не пройдет детерминированное допущение (admission) на основе исполняемого набора ограничений C. Ключевой принцип: runtime (среда выполнения) принимает и фиксирует изменения, а не сам агент. Если происходит непредвиденное нарушение, система реагирует реактивно, в рамках заданных границ, а не полагается на новое предложение агента.
Технические гарантии и свойства
Система Mnemosyne реализует ATP с использованием append-only журнала переходов, проекции эффективного состояния и зависимостей. Доказаны четыре свойства безопасности относительно набора ограничений C:
- Authority separation: Разделение полномочий между генерацией и допуском.
- Serial-equivalent generative admission: Генеративный допуск, эквивалентный последовательному выполнению.
- Evidence-preserving repair: Ремонт, сохраняющий исходные доказательства.
- Obligation containment: Ограничение обязательств.
Результаты тестирования
Воспроизводимый артефакт системы прошел девять тестов на фальсификацию, успешно отклоняя целевые нарушения и допуская валидные рабочие процессы. Производительность системы остается высокой:
| Метрика | Значение / Характеристика |
|---|---|
| Накладные расходы на проекцию и валидацию | Менее 6% |
| Эффективность локального ремонта (LCRP) | На порядок меньше операций, чем глобальный пересчет |
| Количество тестов на фальсификацию | 9 (все успешно пройдены) |
Открытый исходный код
Система Mnemosyne является open-source решением, что позволяет сообществу исследователей и разработчиков интегрировать механизмы транзакционной целостности в свои AI-агентные платформы. Это важный шаг к созданию надежных, промышленно применимых AI-систем, где ошибки генерации не приводят к критическим сбоям в состоянии данных.
Источник: arXiv cs.AI ↗