В то время как индустрия движется к полной автоматизации памяти AI-агентов, исследователь Флориан Дитц (Florian Dietz), поддержанный институтом Foresight Institute, предлагает обратный подход. Его проект Epistemic Memory — это не новое программное обеспечение, а набор строгих файловых соглашений и инструкций для GitHub-репозиториев, направленных на безопасность, выравнивание (alignment) и стабильность работы агентов.
Проблема дрейфа памяти и галлюцинаций
Существующие решения, такие как LLM Wiki от Карпатхи или плагины для Obsidian, часто страдают от «дрейфа памяти» (memory drift). Агенты постепенно вносят мелкие изменения в контент, которые со временем искажают исходные факты. Кроме того, у моделей нет интуитивного способа различать гипотезы и установленные факты, что ведет к галлюцинациям и «бегу рассуждений» (runaway reasoning), когда агент начинает действовать без явного согласия пользователя.
Три столпа безопасности Epistemic Memory
Дитц выделяет три ключевые функции, которые делают память агента проверяемой человеком (auditable):
- Первичные источники (Primary Sources): В отличие от истории Git, которая сложна для анализа агентами, система использует неизменяемые хронологические LOG-файлы по каждой теме. Они фиксируют каждую деталь разговора, позволяя сверять текущие выводы с оригиналом.
- Маркеры эпистемического статуса: Вводятся специальные теги для обозначения достоверности утверждений. Это позволяет агенту компактно хранить не только текущий статус, но и альтернативные варианты, а также аргументацию, приведшую к выводу.
- Явное подтверждение пользователя (Sign-off): Агент никогда не может самостоятельно ratify (утвердить) идею. Статус «решено» присваивается только после явного знака пользователя. Это предотвращает сценарий, когда агент молча принимает свои же предложения за согласованные.
Сравнение подходов к маркировке знаний
Внедрение маркеров статуса позволяет структурировать знания агента. Ниже приведена система тегов, используемая в Epistemic Memory:
| Маркер | Значение | Кто устанавливает |
|---|---|---|
[decided] |
Финальное решение, принятое после обсуждения | Только пользователь (User) |
[verified] |
Факт, подтвержденный проверкой | Агент или Пользователь |
[concluded] |
Вывод, сделанный на основе данных | Агент |
[assumed] |
Предположение, требующее проверки | Агент |
[superseded] |
Информация устарела, заменена новой | Агент (с ссылкой на новую) |
Почему это важно сейчас
По мере того как агенты становятся умнее и быстрее, ручная проверка их вывода становится все более трудоемкой. Epistemic Memory предлагает компромисс: сохраняя высокую степень автоматизации, система оставляет «следы», которые человек может быстро проверить. Проект доступен как шаблон на GitHub (github.com/FlorianDietz/EpistemicMemory), что позволяет интегрировать эти правила в любые существующие системы управления памятью без установки дополнительного ПО.
Источник: LessWrong ↗