Проблема ручного поиска в FL
Федеративное обучение (Federated Learning) часто требует тонкой настройки множества компонентов: вариантов оптимизаторов, правил агрегации на сервере, расписания локального обучения, нормализации и архитектуры моделей. Ручной перебор этих комбинаций ресурсоемок, а сравнение результатов затруднено из-за различий в путях обучения и оценки.
Как работает Auto-FL-Research (AFR)
AFR использует конstrained coding-agent workflow (ограниченный рабочий процесс кодовых агентов). Агенты могут предлагать и реализовывать кандидаты на роль новых алгоритмов обучения, включая:
- Правила агрегации на сервере;
- Расписания обновлений клиентов;
- Локальные функции потерь;
- Зарегистрированные варианты моделей.
Профиль задачи фиксирует поверхность мутаций, вычислительный бюджет, контракт связи и финальную оценку модели. Каждая кампания записывает баллы кандидатов, время выполнения, измененные файлы, артефакты и статусы сбоев.
Результаты тестирования
Авторы оценили AFR на пяти задачах кросс-сильного FL (FLamby) и профилях сгруппированных клиентов для пяти фиксированных наборов данных LEAF плюс синтетической задачи LEAF. Повторные оценки с пятью семенами показали прирост на четырех задачах FLamby и пяти из шести профилей LEAF. Однако система также выявила случаи, чувствительные к семени, и ошибки, выбранные поиском.
| Набор данных | Количество задач/профилей | Успешные улучшения | Примечание |
|---|---|---|---|
| FLamby | 5 задач | 4 задачи | Одна задача не показала устойчивого улучшения |
| LEAF | 6 профилей | 5 профилей | Включая синтетическую задачу |
Важность для индустрии
Ключевой вклад работы — не просто улучшение метрик, а методология разделения агент-сгенерированных кандидатов на три категории: повторяющиеся механизмы FL, эффекты настройки фиксированной поверхности и артефакты единичного запуска. Это позволяет исследователям отличать реальные архитектурные улучшения от случайных совпадений или переобучения под конкретный бенчмарк.
Источник: arXiv cs.AI ↗