Проблема: Имитация против Эволюции
Современные мультимодальные агенты (LLM/VLM) демонстрируют высокие результаты в открытых мирах, но их способность к самостоятельному развитию ограничена. Стандартный SFT (Supervised Fine-Tuning) позволяет только имитировать действия, а RL, ориентированный на результат, часто игнорирует промежуточные этапы взаимодействия. Команда авторов из arXiv (2610.20786) предлагает решение: EvolvingBrain — адаптивную систему навыков, действующую как «мозг» для самоэволюции агента.
Архитектура: Иерархия навыков
Система извлекает Процедурные паттерны (успешные действия) и Проблемные паттерны (ошибки) из траекторий модели. На их основе формируется Stratified Skill Architecture — трехуровневая структура знаний:
- Domain Skills (Доменные): Высокоуровневые знания о среде.
- Plan Skills (Плановые): Стратегии достижения целей.
- Action/Trap Skills (Действия/Ловушки): Низкоуровневые действия и знание об ошибках.
Механика: Память и Адаптация
Ключевой компонент — State-Aware Adaptive Execution. Агент суммирует долгосрочные взаимодействия в Structured Abstractive Memory (структурированную абстрактную память). Эта память управляет стратегией слияния навыков, позволяя агенту выбирать знания, релевантные его текущему состоянию, а не просто применять их случайно.
Результаты: Minecraft и DiscoveryWorld
Эксперименты проводились в симуляторах VAB-Minecraft и DiscoveryWorld. EvolvingBrain продемонстрировал не только рост успешности выполнения задач в открытых мирах, но и способность к обобщению (generalization) на новые сценарии, которых не было в обучающей выборке.
| Компонент | Функция | Влияние на агента |
|---|---|---|
| Stratified Skill Self-Evolution | Генерация навыков из траекторий | Создание многогранного репозитория знаний |
| Structured Abstractive Memory | Сжатие долгосрочного опыта | Контекстное понимание текущей ситуации |
| State-Aware Skill Fusion | Выбор навыков по состоянию | Адаптивное поведение вместо шаблонных действий |
Код проекта будет опубликован в финальной версии статьи, что открывает возможности для тестирования агентов нового поколения в сложных симуляциях.
Источник: arXiv cs.AI ↗