Суть метода: таблица элитных решений
Новый подход EliteTable решает проблему поиска оптимальных контрольных политик (control policies) через самообучающийся поиск программ. В основе лежит фиксированная по емкости таблица, хранящая решения с высоким баллом. Алгоритм использует большие языковые модели (LLM) для трех ключевых действий:
- Генерации новых предложений;
- Редактирования существующих решений;
- Смешивания (remix) нескольких лучших решений.
Это позволяет системе не просто перебирать варианты, а итеративно улучшать их, опираясь на уже найденные успешные паттерны.
Экспериментальные условия
Оценка проводилась на шести задачах из библиотеки Gymnasium. Для обеспечения статистической значимости каждая задача тестировалась в 10 независимых поисках. Архитектура поиска включала 10 поколений (generations), в каждом из которых формировалось 50 кандидатных слотов (candidate slots). Ключевым показателем стала медиана баллов кандидатов и выбранных победителей.
Результаты: прорыв в CartPole и стабильный прогресс
В большинстве задач наблюдался рост эффективности. В частности, в задаче CartPole-v1 выбранный победитель достиг максимального балла (ceiling) уже в первом поколении во всех 10 запусках, что свидетельствует о высокой скорости сходимости алгоритма в простых условиях.
Ниже приведена сводка результатов по ключевым задачам:
| Задача (Gymnasium) | Результат поиска | Обобщение (Held-out) |
|---|---|---|
| CartPole-v1 | Достигнут потолок баллов с 1-го поколения | Улучшение во всех 10 запусках |
| BipedalWalker-v3 | Улучшение без достижения целевых показателей | Информация недостаточна |
| CarRacing-v3 | Улучшение без достижения целевых показателей | Информация недостаточна |
| Acrobot-v1 | Рост медианы кандидатов | 6 из 10 поисков показали снижение на новых эпизодах |
Выводы и ограничения
Исследование документально подтверждает возможность улучшения политик в процессе поиска и перенос этих улучшений на новые эпизоды (generalization) в ряде задач. Однако результаты не являются универсальными: в задаче Acrobot-v1 наблюдается негативный медианный прирост на отложенных данных, что указывает на риски переобучения или нестабильность в более сложных средах. Автор отмечает необходимость дальнейших сравнительных тестов (ablations) для точной оценки вклада каждого компонента EliteTable.
Источник: arXiv cs.AI ↗