Проблема одновременной оптимизации
Многоцелевая байесовская оптимизация (MOBO) — ключевой инструмент для настройки «черных ящиков» с несколькими целями. Традиционные методы пытаются одновременно достичь двух противоречивых целей: сходимости (приближения к истинному Парето-фронту) и разнообразия (равномерного распределения решений по фронту). Такой подход эффективен при больших бюджетах вычислений, но терпит неудачу в условиях жестких ограничений, когда выборки недостаточно для покрытия всего фронта.
Решение: Разделение на два этапа
Авторы — Чжао Цзян, Юэлин Хуан и Мицин Ли — предлагают метод Converge Then Diversify (CTD). Идея заключается в декомпозиции процесса:
- Этап 1 (Сходимость): Алгоритм фокусируется исключительно на быстром нахождении одной точки на Парето-фронте, игнорируя разнообразие.
- Этап 2 (Разнообразие): После достижения точки оптимизация переключается на расширение множества решений вдоль фронта.
Результаты: Статистическое превосходство
Эксперименты охватили 446 парных сравнений с современными методами. CTD демонстрирует статистически значимое преимущество в большинстве сценариев, особенно при высоких размерностях и малом количестве оценок функции.
| Метрика сравнения | Доля случаев | Интерпретация |
|---|---|---|
| CTD статистически лучше | 72.9% | Значимое превосходство над SOTA-методами |
| Равные результаты | 21.1% | Нет статистически значимой разницы |
| CTD статистически хуже | 6.1% | Незначительная доля проигрышных сценариев |
Значение для индустрии
Метод CTD решает критическую проблему ресурсоемких задач (например, оптимизации гиперпараметров нейросетей или дизайна материалов), где каждая оценка функции стоит дорого. Разделение задач позволяет избежать преждевременного рассеивания вычислительных ресурсов, обеспечивая более надежный поиск оптимальных решений в условиях дефицита данных.
Источник: arXiv cs.AI ↗