Проблема длинных зависимостей в поведенческом клонировании
Поведенческое клонирование (Behavior Cloning, BC) в немарковских средах сталкивается с фундаментальной проблемой: агентам необходимо удерживать контекст на длительных временных отрезках. Существующие архитектуры, использующие рекуррентные нейросети (RNN) или механизмы внимания (Attention), имеют критические ограничения. RNN страдают от «схлопывания» скрытого состояния и нестабильности градиентов при обратном распространении через время (BPTT), а модели на основе внимания ограничены фиксированной длиной контекстного окна.
Решение: Keyframe Mnemonics
Авторы работы, принятые в NeurIPS 2026 (Prabin Kumar Rath, Omkar Patil, Nakul Gopalan), предлагают метод Keyframe Mnemonics. Это подход самообучения без учителя, который автоматически обнаруживает информационно-критические наблюдения — «мнемоники» (ключевые кадры). Алгоритм обучает цель на основе случайно выбранных прошлых наблюдений и использует её как награду для выбора ключевых кадров. Политика BC затем обучается с условием на эти выбранные кадры, формируя распределение действий.
Результаты на синтетических и реальных задачах
Метод обеспечивает гарантии удержания контекста на бесконечном горизонте при сохранении малого набора кадров в рабочей памяти. Эксперименты показали выдающиеся результаты:
- Синтетические домены памяти: Политики, conditioned на мнемониках, достигли 100% успеха (SR) и обобщились на горизонты, превышающие обучающие на порядки, без деградации.
- Робототехника: На бенчмарке манипуляций с высокой нагрузкой на память метод показал улучшение на 13.9% по среднему абсолютному SR по сравнению с лучшим базовым методом (baseline) на 23 задачах.
- Реальный робот: Сохранено 80% SR на горизонтах, в 20 раз превышающих обучающие.
| Метрика / Среда | Результат Keyframe Mnemonics | Сравнение / Примечание |
|---|---|---|
| Синтетические домены | 100% Success Rate | Обобщение на горизонты >> обучающих без потери качества |
| Робототехника (23 задачи) | +13.9% avg. abs. SR | Превосходство над strongest baseline |
| Реальный робот (долгосрок) | 80% SR | При горизонте в 20x длиннее обучающего |
Значение для индустрии
Работа решает проблему «потери памяти» у автономных агентов. Способность выделять только критически важную информацию (ключевые кадры) вместо хранения всей истории наблюдений позволяет создавать более эффективные и масштабируемые системы управления роботами и ИИ-агентами, способные действовать в сложных, долгосрочных сценариях.
Источник: arXiv cs.AI ↗