Проблема долгосрочного планирования
Автономные AI-агенты, предназначенные для длительных исследовательских задач (long-horizon research), сталкиваются с критической проблемой: решения о том, что исследовать дальше, принимаются редко, но их последствия проявляются спустя много шагов. Традиционные методы обучения с подкреплением (RL) часто терпят неудачу из-за разреженности наград (sparse rewards) и сложности присвоения заслуг (credit assignment) за действия, совершенные на ранних этапах длинной цепочки.
Решение: Иерархическая архитектура MIRA
Авторы (Ankur Samanta, Yonathan Efroni и соавторы) предлагают архитектуру MIRA (Meta-reasoning for Iterative Research Agents). Ключевая инновация — разделение процесса на два контура:
- Внешний контур (Meta-reasoner): Анализирует персистентную запись исследований, формирует контекст и пишет «рабочее задание» (work order) для следующего шага или завершает эпизод.
- Внутренний контур (Executor): Свежий исполнитель, который выполняет конкретное задание. Это делает процесс исполнения частью перехода между действиями мета-рассуждения.
Такой подход позволяет не обучать политику напрямую на длинных траекториях исполнения, а оптимизировать только решения мета-уровня.
Эволюция к MIRA-AC и генеративный критик
Для решения проблемы оценки прогресса авторы внедряют генеративного критика, который прогнозирует ожидаемую будущую награду (expected remaining return) на границах мета-решений. Это эффективнее, чем оценка на уровне токенов.
Далее представлена версия MIRA-AC (Actor-Critic), где:
- Актор и критик обучаются совместно.
- Используется предобучение (pretraining) кросс-окружений для создания переносимого априорного знания о ценности частичного прогресса.
- Оптимизация политики фокусируется исключительно на мета-решениях, что делает RL более эффективным.
Результаты и метрики
Эксперименты проводились в четырех средах автономных исследований (autoresearch environments), включая доказательство теорем и поиск нейронных архитектур. MIRA-AC, обученный на сигналах собственного поиска (proxy hill-climbing), демонстрирует улучшение качества результатов (gold performance) по сравнению с базовыми линиями.
| Компонент/Метод | Ключевая особенность | Результат/Значение |
|---|---|---|
| MIRA (Base) | Иерархическое разделение на мета-рассуждение и исполнение | Улучшает долгосрочный вывод и распределение вычислений без дообучения политики |
| Генеративный критик | Прогноз будущей награды на границах мета-решений | Превосходит альтернативы на уровне токенов в оценке состояния |
| MIRA-AC | Совместное обучение актора и критика, кросс-окруженное предобучение | Эффективный долгосрочный RL, улучшение качества в 4 средах (теоремы, NAS) |
Почему это важно
Работа демонстрирует, что мета-рассуждение можно обучать как явную политику для направления автономных исследований. Это открывает путь к созданию AI-систем, способных самостоятельно ставить гипотезы, планировать эксперименты и адаптироваться к новым данным в сложных, долгосрочных сценариях, таких как научные открытия или разработка ПО.
Источник: arXiv cs.AI ↗