Проблема гетерогенности в Federated Learning
Федеративное дообучение (Federated Fine-Tuning) с использованием адаптеров низкого ранга (LoRA) позволяет сократить объем передаваемых данных и вычислительную нагрузку. Однако в реальных сценариях клиенты (устройства) часто имеют разные ограничения на пропускную способность и вычислительные ресурсы, что требует использования адаптеров с разными рангами (размерами). Сервер должен агрегировать эти разнородные данные и затем извлекать адаптеры нужного размера для каждого клиента. Ключевая задача — извлечение адаптеров, специфичных для ранга (rank-specific extraction).
Сравнение существующих подходов
Существующие методы делятся на две категории, каждая из которых имеет существенные недостатки:
- Прямое усечение (Direct Truncation): Сохраняет первые столбцы и строки агрегированных факторов. Метод быстрый, но приводит к высоким ошибкам реконструкции.
- Полная SVD (Dense SVD): Формирует плотное произведение факторов, затем применяет сингулярное разложение. Дает оптимальное приближение по норме Фробениуса, но требует огромных вычислительных затрат на формирование плотной матрицы.
Решение: RBLA+
Авторы предлагают метод RBLA+ (расширение предыдущего RBLA), который использует компактную декомпозицию QR/core-SVD. Это позволяет минимизировать ошибку Фробениуса без необходимости формирования плотного обновления. Метод также учитывает различные соглашения о масштабировании (scaling conventions) между клиентами и сервером.
Результаты и метрики
Эксперименты проводились на задачах компьютерного зрения и обработки естественного языка. Результаты показывают, что RBLA+ превосходит базовый метод RBLA по точности в различных гетерогенных настройках. На бенчмарках с CPU и синтетическими адаптерами время извлечения у RBLA+ ниже, чем у базового подхода с плотной частичной SVD.
| Метод | Вычислительная сложность | Точность (Accuracy) | Особенности |
|---|---|---|---|
| Direct Truncation | Низкая | Ниже базовой | Высокая ошибка реконструкции |
| Dense SVD | Очень высокая | Оптимальная | Требует формирования плотной матрицы |
| RBLA+ | Средняя/Низкая | Выше RBLA | Компактная QR/core-SVD, нет плотной матрицы |
Метод RBLA+ сохраняет заданный размер адаптера для каждого клиента и не увеличивает объем передаваемых данных на каждом раунде обучения, что делает его эффективным решением для распределенных систем с разнородным оборудованием.
Источник: arXiv cs.AI ↗