Проблема масштабирования навыков в LLM-агентах
Современные агенты на базе больших языковых моделей (LLM) всё чаще опираются на библиотеки переиспользуемых навыков (skills). Однако по мере роста таких библиотек возникает критическая проблема: загрузка всех навыков требует огромных вычислительных ресурсов, а плоский семантический поиск игнорирует логику выполнения. Он не учитывает зависимости между действиями, порядок их выполнения, переходы состояний и потоки данных, что приводит к ошибкам и неэффективности.
Архитектура SPEM: от атомарных навыков к DAG
Авторы предлагают решение — SPEM (Structure-Aware Procedural Memory). Это легковесная система, которая хранит навыки в двух форматах:
- Atomic Skill Memory: хранилище индивидуальных, атомарных навыков.
- Skill-DAG Memory: графы направленных ациклических зависимостей (DAG), формируемые из успешных выполнений задач. Эти шаблоны позволяют агенту мгновенно распознавать и использовать сложные цепочки действий.
При поступлении новой задачи система сначала проверяет наличие высоконадежных шаблонов Skill-DAG. Если их нет, она извлекает атомарные навыки и использует Skill-GNN (графовую нейронную сеть) для выбора оптимальной последовательности с учетом текущего состояния и структуры задачи. Успешные выполнения записываются обратно в память, создавая эффект накопления опыта.
Результаты бенчмарков: эффективность против точности
Эксперименты проводились на двух ключевых наборах данных: ALFWorld (виртуальный мир для тестирования планирования) и SkillsBench (бенчмарк для оценки использования навыков). SPEM продемонстрировал лучший баланс между эффективностью и точностью по сравнению с сильными базовыми моделями.
| Метрика / Набор данных | Результат SPEM | Значение |
|---|---|---|
| ALFWorld (Success Rate) | 87.1% | Высокая доля успешных завершений задач в виртуальной среде |
| SkillsBench (Reward) | 38.38% | Показатель эффективности использования навыков в комплексных сценариях |
| Затраты (Tokens & Runtime) | Снижены | Значительное уменьшение потребления токенов и времени выполнения по сравнению с базовыми методами |
Почему это важно
Работа авторов (Ran Zhou, Zehui Kong и соавт.) решает фундаментальную проблему «интеллектуальной забывчивости» и ресурсоемкости агентов. Переход от плоского поиска к структурной памяти (DAG) позволяет системам не просто «знать» навыки, но и понимать, как их комбинировать. Это критически важно для создания автономных AI-ассистентов, способных решать сложные многошаговые задачи без постоянного вмешательства человека и с минимальными затратами на инференс.
Источник: arXiv cs.AI ↗