Проблема статичных рецептов
Традиционное обучение нейронных сетей часто опирается на заранее заданные рецепты оптимизации. Однако фиксированная политика агента не накапливает опыт между запусками. Авторы работы Binghang Lu, Yige Sun и Guang Lin предлагают решение: RSI-Opt (Recursive Self-Improvement Optimizer Agents), который эволюционирует, используя данные предыдущих запусков.
Как работает эволюция знаний
Система использует мета-агента, который переписывает политику на основе доказательств из ранних этапов. Архив сохраняет оцененные политики для дальнейшей эволюции. Ключевые компоненты обновляемой политики:
- Промпт (инструкция для агента).
- Плейбук процедур (алгоритмы действий).
- Библиотека проверенного кода оптимизаторов.
- Каденция принятия решений (частота и тип корректировок).
Результаты бенчмарков
Эксперименты проводились на трех задачах обучения в течение 5 поколений. Агенты проводили собственные прокси-эксперименты на CPU. Ниже приведены ключевые метрики улучшения производительности:
| Метрика / Задача | Модель | До RSI-Opt | После RSI-Opt | Эффект |
|---|---|---|---|---|
| Summary z-score (Evolution Suite) | Opus 5.5 | +10.48 | +14.33 | Рост качества политики |
| Summary z-score (Held-out tasks) | GPT-5.5 | -0.36 | +3.11 | Успешный кросс-модельный трансфер |
| Mean relative L2 error (Burgers PDE) | Opus 5.5 | Baseline | -2.7x | Снижение ошибки в 2.7 раза |
| Mean relative L2 error (Burgers PDE) | GPT-6.1 | Baseline | -8.8x | Снижение ошибки в 8.8 раза |
Почему это важно
Контролируемые сравнения показывают, что эволюционировавшая политика сочетает в себе переиспользуемые знания об оптимизации и адаптацию к конкретной задаче. Первоначальные решения дают основной прирост на известных задачах, а постоянная адаптация улучшает результаты на новых (unseen) задачах. Это открывает путь к автоматизации настройки оптимизаторов в научном машинном обучении (Scientific ML), где ручная настройка часто является узким местом.
Источник: arXiv cs.AI ↗