Проблема существующих подходов
В современных латентных мультиагентных системах (Latent Multi-Agent Systems) промежуточные рассуждения и коммуникация между агентами хранятся в непрерывных представлениях, что значительно снижает затраты на инференс. Однако использование переиспользуемых навыков (skills) остается узким местом. Традиционные методы требуют либо подачи навыков в виде текстовых промптов, что приводит к повторной обработке данных, либо хранения их в виде ключ-значения (Key-Value) состояний слоев или специфичных параметров модели, что увеличивает объем хранилища пропорционально количеству навыков.
Решение: SkillMem
Авторы работы arXiv:2610.37935 предлагают архитектуру SkillMem, которая представляет каждый переиспользуемый навык как небольшую внешнюю латентную память. Этот подход позволяет навыкам быть напрямую доступными в процессе латентных мультиагентных рассуждений без необходимости их декодирования или загрузки в параметры модели. Ключевым механизмом является role-conditioned cross-attention (кросс-внимание, обусловленное ролью), которое обеспечивает эффективное взаимодействие между агентами и хранимыми навыками.
Технические преимущества
Введение SkillMem решает две основные проблемы существующих парадигм:
- Снижение вычислительных затрат: Исключается необходимость повторной обработки текстовых инструкций для каждого вызова навыка.
- Экономия памяти: Навыки не требуют хранения в виде полных весов модели или раздутого KV-кэша, что делает систему масштабируемой при большом количестве специализированных ролей.
Значение для индустрии
Представленный метод открывает путь к созданию более эффективных и масштабируемых мультиагентных систем. Возможность компактного хранения и быстрого доступа к сложным навыкам через латентное пространство позволяет агентам выполнять сложные цепочки рассуждений с меньшими ресурсами, что критически важно для развертывания AI-ассистентов в условиях ограниченных вычислительных мощностей.
Источник: arXiv cs.AI ↗