Проблема ручного дизайна оптимизаторов
Разработка эффективных оптимизаторов для современных глубоких нейронных сетей остается сложной научной задачей. Традиционные методы либо ищут решения в неограниченном пространстве кода (что часто приводит к нерабочим или неинтерпретируемым программам), либо ограничиваются узкими семействами параметров, жертвуя новизной. Авторы работы из Китая (Zhongzheng Li, Tiancan Feng и др.) предлагают решение, объединяющее теоретическую строгость с гибкостью автоматического поиска.
Архитектура OPTScientist: 4 роли агентов
Система использует типизированный язык спецификаций (DSL) и оркеструет работу четырех специализированных AI-агентов в замкнутом цикле:
- Theorist (Теоретик): Формулирует гипотезы на основе математической геометрии оптимизации.
- Designer (Дизайнер): Синтезирует кандидаты в виде программ на DSL, разбивая их на модули направления, масштабирования, преусловливания и регуляризации.
- Engineer (Инженер): Компилирует код, проверяет его на валидность и запускает оценку.
- Reviewer (Рецензент): Критикует результаты, выявляя узкие места и предлагая улучшения.
Механизм эволюции и расширения DSL
Ключевая инновация OPTScientist — способность преодолевать ограничения фиксированного пространства поиска. Если агенты сталкиваются с повторяющимися неудачами из-за нехватки выразительных средств DSL, система активирует механизм второго этапа: она предлагает небольшие расширения самого языка спецификаций. Это позволяет находить решения, которые невозможно было бы сформулировать в исходном наборе операторов.
Результаты: Оптимизатор RS-MR
В ходе экспериментов система открыла новый оптимизатор под названием RS-MR (Reduced-State Matrix Optimizer). Это оптимизатор с уменьшенным состоянием, который демонстрирует превосходство над сильными базовыми моделями (baselines) при предварительном обучении (pretraining) трансформеров. Результаты подтверждают, что автоматизированная наука об оптимизаторах, основанная на теории и компиляторной проверке, способна генерировать полезные для индустрии алгоритмы.
| Компонент системы | Функция | Значение для результата |
|---|---|---|
| Типизированный DSL | Структурированное представление оптимизатора | Гарантирует валидность и интерпретируемость кода |
| Мульти-агентный цикл | Совместная работа Theorist, Designer, Engineer, Reviewer | Баланс между новизной гипотез и технической реализуемостью |
| Эволюционное расширение | Модификация самого DSL при тупиках | Позволяет выйти за рамки известных семейств оптимизаторов |
| RS-MR | Открытый оптимизатор | Улучшает метрики pretraining трансформеров |
Источник: arXiv cs.AI ↗