Монополия LoRA под вопросом
Несмотря на то, что Low Rank Adaptation (LoRA) является доминирующим стандартом для дообучения LLM и генеративных моделей, новые данные Hugging Face ставят под сомнение её безусловное лидерство. Анализ 20 834 карточек моделей на Hugging Face Hub показал, что 98,4% используют именно LoRA. В сфере генерации изображений доля LoRA составляет 95% от всех PEFT-чекпоинтов. Однако авторы отмечают, что эта популярность может быть самоподдерживающейся: из-за обилия туториалов и поддержки в экосистеме пользователи выбирают LoRA по инерции, не проверяя более эффективные альтернативы.
Проблема академических бенчмарков
Проблема выбора метода часто кроется в предвзятости научных статей. Исследователи, разрабатывающие новые методы (например, DoRA, AdaLoRA, LoHa), часто сравнивают их с LoRA, используя неоптимальные гиперпараметры для базового метода. Hugging Face подчеркивает, что без стандартизированных условий такие сравнения некорректны. Для решения этой проблемы команда PEFT библиотеки создала объективный фреймворк, где все методы тестируются на одинаковом оборудовании, датасетах и коде.
Методология тестирования
Бенчмарк охватывает две ключевые модальности:
- Текст (LLM): Дообучение на наборе данных MetaMathQA для проверки способности модели к цепочечному мышлению (chain-of-thought) и решению математических задач.
- Изображения: Тест на генеративных моделях с обучением новому концепту (плюшевая кошка) без катастрофического забывания существующих знаний.
Критерии оценки включают не только качество результата (test performance), но и потребление VRAM, время обучения, размер чекпоинта и устойчивость к забыванию (forgetting/drift).
Результаты: где LoRA проигрывает
Сравнение LoRA с пятью другими популярными методами PEFT выявило, что в некоторых сценариях базовая LoRA уступает конкурентам. Ниже приведена сводка ключевых метрик сравнения:
| Метрика | LoRA | Альтернативы (DoRA/AdaLoRA/LoHa) | Вывод |
|---|---|---|---|
| Качество (Accuracy/Perplexity) | Высокое, но не всегда лучшее | Могут превосходить LoRA в специфичных задачах | LoRA — надежный базовый вариант, но не абсолютный лидер |
| Потребление VRAM | Низкое | Иногда ниже или сопоставимо | Экономия памяти не всегда в пользу LoRA |
| Время обучения | Стандартное | В некоторых случаях быстрее | Скорость зависит от архитектуры метода |
| Размер чекпоинта | Малый | Сопоставимый | Все PEFT-методы эффективны здесь |
Авторы статьи подчеркивают: если вы используете LoRA «по умолчанию», вы можете упускать возможности для оптимизации ресурсов или улучшения качества. Рекомендуется тестировать альтернативы (DoRA, AdaLoRA и др.) на своих данных, используя библиотеку PEFT, так как преимущества часто зависят от конкретной задачи и аппаратного обеспечения.
Источник: Hugging Face blog ↗