Проблема ручного конструирования
Традиционные методы Neural Architecture Search (NAS) эффективны, но ограничены жестко заданными пространствами поиска, которые требуют глубокой экспертизы и пересборки для каждой новой задачи. С другой стороны, большие языковые модели (LLM) способны генерировать архитектуры в неограниченном пространстве, но не умеют эффективно проводить комбинаторный поиск. Агент NAS (AgentNAS) решает эту дилемму, объединяя сильные стороны обоих подходов.
Механизм «слотовой» архитектуры
Новый подход использует трехэтапный пайплайн. На первом этапе LLM генерирует высококачественную начальную архитектуру. Затем она декомпозирует её в так называемую «слотовую архитектуру» (slotted architecture). Это каркас с именованными, взаимозаменяемыми модульными слотами. Именно эти слоты автоматически формируют ограниченное, специфичное для задачи пространство поиска для классического NAS, исключая необходимость ручной инженерии.
Результаты на бенчмарках
Метод был протестирован на 17 задачах, охватывающих классификацию, плотную регрессию, сегментацию и мультилейбл-тегирование в различных модальностях (набор данных NAS-Bench-360 и Unseen NAS). AgentNAS установил новый state-of-the-art (SOTA) на 11 задачах, превзойдя как базовые модели, так и экспертные решения, созданные вручную.
| Метрика / Аспект | Результат / Описание |
|---|---|
| Количество задач | 17 (классификация, регрессия, сегментация, тегирование) |
| Достижение SOTA | На 11 из 17 задач |
| Роль LLM | Генерация seed-архитектуры, превосходящей базовые модели |
| Роль NAS | Дополнительный прирост за счет комбинаторной перестановки слотов |
| Тестирование LLM | Результаты стабильны для моделей разного уровня |
Синергия подходов
Анализ ablation-исследований показал, что механизмы поиска дополняют друг друга. LLM-генерируемое ядро уже само по себе часто превосходит опубликованные базовые линии. Однако NAS добавляет значимый прирост точности за счет комбинаторной рекомбинации модулей в слотах — режима поиска, который независимые выборки LLM воспроизвести не могут. Это подтверждает, что разделение труда между генерацией и оптимизацией является ключом к успеху.
Источник: arXiv cs.AI ↗