Проблема забывания в контексте
Современные ИИ-агенты часто совершают ошибки, которые исправляют только в рамках текущей сессии. Механизмы in-context learning (обучения в контексте) неэффективны: они занимают ограниченное окно контекста и «забываются» при новом запуске. Полноценная дообучка (fine-tuning) всей модели слишком дорога и рискует разрушить уже имеющиеся навыки (катастрофическое забывание). Авторы работы — Юваль Кансал, Карен Уллих, Полина Кириченко и другие — предлагают компромиссное решение: Self-Direction.
Механизм Self-Direction: уроки в виде адаптеров
Суть метода заключается в том, что когда агент терпит неудачу, он анализирует свой траекторию действий, извлекает из нее урок и немедленно кодирует его в легковесный адаптер с низкой ранговой матрицей (LoRA). При этом веса базовой модели остаются замороженными. Обучение дополнительных параметров занимает лишь около 0.02% от общего числа параметров базовой модели. Эти адаптеры сохраняются в постоянной библиотеке уроков и автоматически подключаются при решении схожих задач в будущем.
Результаты бенчмарков
Эксперименты проводились на агентах, построенных на базе открытых моделей семейства Qwen. Метод Self-Direction показал значительное улучшение показателей успеха по сравнению с базовыми подходами. Ниже приведены ключевые метрики эффективности:
| Бенчмарк | Задача | Рост успеха (pp) |
|---|---|---|
| GAIA | Открытые исследования | до +17.0 |
| Claw-Eval | Использование инструментов | до +17.0 |
| Terminal-Bench 2.1 | Терминальные задачи | до +8.9 |
Метод демонстрирует результаты, сопоставимые с передовыми проприетарными системами, при этом сохраняя базовые способности модели.
Перенос знаний и надежность
Особая ценность Self-Direction — в способности к обобщению. Изученные уроки (адаптеры) не ограничиваются одной задачей: несколько адаптеров успешно применяются к десяткам новых, ранее не встречавшихся задач без дополнительного обучения. Это практически удваивает надежность исправлений агента при повторном столкновении с похожими проблемами. Метод превращает повседневные ошибки в долговременные знания, устраняя главный недостаток современных LLM-агентов — их «золотую память» только на один диалог.
Источник: arXiv cs.AI ↗