Большинство современных LLM-агентов используют статичные «шоры» (harnesses) — внешние слои управления, которые превращают базовую языковую модель в исполняемый агент. Обычно это единая конфигурация для всех задач, что ограничивает эффективность. Команда исследователей во главе с Юэ Хуангом (Yue Huang) представила MemoHarness — адаптивную фреймворк-оптимизацию, которая учится на собственном опыте выполнения задач.
Как это работает: 6 измерений и банк опыта
Вместо того чтобы оптимизировать только промпты или пайплайны, MemoHarness разбивает управление агентом на шесть редактируемых измерений: контекст, инструменты, оркестрация, память, декодирование и обработка вывода. Система сохраняет диагнозы для каждого случая и глобальные паттерны в двухуровневом банке опыта (dual-layer experience bank). При решении новой задачи агент извлекает релевантный опыт без использования тестовых меток, обратной связи или дополнительных поисковых алгоритмов.
Результаты: Адаптивность и экономия
Оценка проводилась на трех типах бенчмарков: shell-агенты, генерация кода и аналитическое рассуждение. MemoHarness превзошел фиксированные шоры и показал способность к селективной передаче знаний на новые модели и задачи. Ключевое преимущество — экономия контекста: большая часть извлеченного опыта кэшируется, что делает метод конкурентоспособным по стоимости.
| Параметр | Значение / Описание |
|---|---|
| Архитектура | Двухуровневый банк опыта (пер-кейс диагнозы + глобальные паттерны) |
| Размерность | 6 редактируемых измерений управления (context, tools, orchestration, memory, decoding, output) |
| Обучение | Без тестовых меток, без обратной связи, без поиска (zero-shot adaptation via retrieval) |
| Бенчмарки | Shell-agent, code-generation, analytical-reasoning |
| Эффективность | Селективная передача на unseen-наборы и базовые модели; кэширование опыта снижает затраты |
Почему это важно
MemoHarness доказывает, что опыт выполнения (execution experience) — это практичная основа для создания более адаптивных агентов, чем единая статичная конфигурация. Это шаг от «настройки один раз» к «обучению в процессе», что критично для сложных сценариев, где универсальные промпты не работают.
Источник: arXiv cs.AI ↗