Автоматизация памяти: от поиска к дистилляции
Команда Meta FAIR совместно с Университетом Вашингтона и Johns Hopkins University представила метод Self-Improving Memory. Это двухэтапный процесс, позволяющий AI-агенту (на базе модели Kimi-K2.6) самостоятельно находить оптимальные инструкции для работы с файловой памятью, а затем «вшивать» эти навыки в веса модели через LoRA-адаптер (rank 64).
Агент работает в потоке подзадач, используя два ключевых промпта: OFFLOAD (сохранение данных после задачи) и LOAD (извлечение перед следующей). Вместо того чтобы полагаться на универсальные инструкции, мета-агент генерирует специфические стратегии, которые затем проверяются на отложенной выборке.
Результаты: обгон человека и конкретные цифры
Эксперименты проводились на бенчмарке Continual Learning Bench с тремя задачами: Database (SQL), Codebase (исправление репозиториев) и Spectrum (анализ радиосигналов). Самая значительная польза метода видна в работе с кодом, где обнаруженные промпты превзошли лучшие ручные стратегии на 20.6 балла.
| Метод | Database | Codebase | Spectrum | Средний балл |
|---|---|---|---|---|
| Без памяти | 7.5 | 31.8 | 21.9 | 20.4 |
| Лучший ручной промпт | 47.9 | 43.7 | 42.1 | 44.6 |
| Оптимизированный промпт (Self-Improving) | 53.8 | 64.3 | 49.9 | 56.0 |
| SFT на оптимизированных траекториях (дистилляция) | 37.7 | 45.1 | 46.5 | 43.1 |
Дистилляция знаний в веса
Второй этап метода — Discover-Demonstrate-Distill. Агент запускает задачи с найденными промптами, логирует все вызовы, а затем модель дообучается (SFT) на этих данных, но уже с использованием общих (generic) промптов. Это позволяет модели «запомнить» эффективные паттерны поведения (например, чтение файлов QUICKSTART.md или REGISTRY.md) без необходимости передавать сложные инструкции при инференсе.
После дистилляции модель набирает в среднем 43.1 балла, что на 14.6% лучше, чем базовая модель с generic промптами (37.6). Примечательно, что 37 из 44 сгенерированных мета-агентом вариантов промптов оказались хуже предыдущего лучшего, что подчеркивает важность строгой валидации.
Сравнение с конкурентами
В отличие от методов ALMA и MemEvolve, которые не обучают веса, или Harness-Zero, требующего отдельного агента-корректора, Self-Improving Memory интегрирует оптимизацию напрямую в веса Kimi-K2.6 через LoRA. Это снижает вычислительные затраты на этапе инференса и упрощает архитектуру агента.
Источник: MarkTechPost ↗
