Проблема: хаос в автоматизированных исследованиях
Современные LLM все чаще используются для автономного проведения научных экспериментов. Однако существующие подходы часто путают два процесса: поиск решений (solution-driven) и поиск идей (idea-driven). В сложных задачах, где нужно не просто подобрать гиперпараметры, а разработать новую архитектуру или метод, агенты теряются в потоке гипотез.
Исследователи выделили три ключевые проблемы таких систем:
- Невозможность структурировать эволюционирующие идеи.
- Сложность выбора наиболее перспективных направлений.
- Потеря связи между абстрактной идеей и её технической реализацией.
Решение: Архитектура AIM
Авторы представляют Agentic Idea Manager (AIM) — полностью автономную фреймворк-систему, вдохновленную байесовской оптимизацией. AIM работает через четыре специализированных агента:
- Agentic Surrogate: Организует и классифицирует открытые идеи.
- Agentic Acquisition: Выбирает наиболее перспективные направления для развития.
- Solution Auditor: Контролирует целостность: гарантирует, что реализация соответствует исходной идее.
- Resource Planner: Адаптивно распределяет вычислительный бюджет между параллельными ветками поиска.
Результаты: скорость и точность
Эксперименты проводились на бенчмарке AutoLab (10 задач). AIM демонстрирует стабильное превосходство над сильнейшими базовыми моделями, особенно в задачах долгосрочного планирования (Model Development & CUDA). Система достигает лучших результатов не только точнее, но и значительно быстрее за счет эффективного распределения ресурсов.
| Метрика / Задача | Результат AIM | Преимущество над базовой моделью |
|---|---|---|
| System Optimization | Высокая точность | +1.6 процентных пункта |
| Model Development & CUDA | Высокая точность | +4.9 процентных пункта |
| Wall-clock time (скорость) | Быстрый сход | До 3.1x быстрее достижения результата |
Почему это важно
Теоретический анализ авторов показывает, что явное управление идеями (idea-level allocation) делает семантическое покрытие исследований контролируемым. Это критически важно, когда конкурентные направления редки среди множества правдоподобных альтернатив. AIM переводит автоматизацию науки с уровня «слепого перебора» на уровень «стратегического планирования».
Источник: arXiv cs.AI ↗