Проблема потери контекста в работе с большими языковыми моделями (LLM) становится критической. Как отмечают авторы исследования, большинство проектов, образовательных усилий и исследовательских линий накапливают данные, решения и рассуждения, которые будущие участники (включая ИИ-агентов) редко могут восстановить. Ключевая проблема заключается в том, что самые полезные части работы — тупиковые ветки и отмененные утверждения — обычно исключаются из публикаций и разделяемого кода. В результате будущие исследователи и агенты повторно совершают одни и те же ошибки.
Архитектура решения: от сырых данных к интерлинкам
Авторы, Присила Сабойя Морейра и Кристофер Р. Свит, предлагают решение в виде llm-wiki-memory-template. Это переиспользуемый, осведомленный об агентов шаблон, который встраивает поддерживаемую LLM интерлинкованную вики-систему между сырыми источниками данных и самими агентами. В отличие от стандартного Retrieval-Augmented Generation (RAG), который не накапливает знания, этот подход создает постоянную память.
Вики-система работает по принципу append-only (только добавление). Это гарантирует, что информация о том, что не сработало, сохраняется наравне с успешными решениями, решая проблему «потери негативных результатов», которую структурно не могут решить традиционные публикации и репозитории кода.
Практические кейсы и метрики
Исследование опирается на три развернутых кейса и один дизайн-отчет, охватывающие различные сценарии использования: от одиночных исследовательских линий до мультиагентных систем. Особый интерес представляет кейс двух авторов, где ретроспективный аудит выявил существенные расхождения в заявленных результатах.
| Сценарий | Исходные данные / Заявления | Результат аудита / Факт | Итоговое состояние |
|---|---|---|---|
| Одиночный исследователь | Потерянные итерации | Сохранение заброшенных веток | Полная история lineage |
| Проект двух авторов (Эксперимент 1) | Заявлено: 20/20 покрытий | Факт: 14 доказательных ответов | Ошибка исправлена, путь сохранен |
| Проект двух авторов (Эксперимент 2) | Заявлено: 20/20 покрытий | Факт: 12 доказательных ответов | Ошибка исправлена, путь сохранен |
| Исправление ошибок | — | — | 18/18 для обоих экспериментов |
В данном кейсе ретроспективный аудит пересмотрил заявленное покрытие с 20 из 20 до 14 и 12 доказательных ответов соответственно. После внесения исправлений показатели выросли до 18 из 18, при этом путь к ошибке и её исправлению остался зафиксированным в артефакте.
Социотехнические свойства
Авторы выделяют три ключевых свойства системы, которые важны не только технически, но и социально:
- Сохранение пути к неудаче (Failure-path preservation): Возможность видеть, почему определенные решения были отвергнуты.
- Честность агентов (Agent honesty): Прозрачность того, что модель знает, а что является гипотезой.
- Присвоение (Appropriation): Способность пользователей адаптировать систему под свои нужды.
Этот подход открывает путь к гетерогенной совместной работе знаний, объединяя людей, разных ИИ-агентов и различные домены в единую, прозрачную среду памяти.
Источник: arXiv cs.AI ↗