LoCA: Адаптация LLM без обратного распространения ошибки

Проблема традиционных методов адаптации

Современные методы параметрически эффективного пост-обучения, такие как LoRA, требуют многократного полного обратного распространения ошибки (backpropagation) через замороженную основную модель. Это вынуждает использовать оборудование с поддержкой обратного прохода, хранить или пересчитывать активации, что создает значительные накладные расходы на вычислительные ресурсы и память.

Суть метода LoCA

Авторы предлагают метод Local Credit Assignment (LoCA) — двухэтапный подход для адаптации моделей с небольшим сдвигом распределения данных. Процесс состоит из:

• Однократной калибровки: Один пробный обратный проход позволяет вычислить низкоуровневую карту для каждого трансформер-блока, связывающую ошибку финального предсказания с коррекцией локального скрытого состояния.

• Прямое дообучение: Вычисленные карты используются для формирования целевых значений регрессии на основе прямых активаций. Адаптеры настраиваются с помощью закрытой формы решения гребневой регрессии (ridge solves).

Ключевое преимущество: после этапа калибровки не требуется ни одного обратного прохода основной модели.

Результаты бенчмарков

Метод протестирован на моделях Qwen2.5 (от 0.5B до 14B) и SmolLM2-1.7B в пяти дискриминативных задачах. Использование единого набора кандидатов, нормированного по масштабу, позволило успешно применять метод к моделям разных размеров.

Значение для индустрии

LoCA демонстрирует, что глобальное распределение кредитов (credit assignment) можно амортизировать в один этап калибровки. Это открывает путь к эффективному forward-only tuning в сценариях, где повторное обратное распространение невозможно или экономически нецелесообразно, особенно для развертывания на ресурсоограниченных устройствах.

Источник: arXiv cs.AI ↗