Проблема статического сжатия
Традиционные методы низкоранговой компрессии (Low-Rank Compression) заменяют линейные преобразования в больших языковых моделях на факторизации с фиксированным рангом. Главная проблема такого подхода — статичность: модель выделяет одинаковое количество вычислительных ресурсов для каждого входного токена, игнорируя сложность задачи. Это приводит к неэффективному использованию бюджета параметров.
Решение: LRCC с условными вычислениями
Авторы предлагают Low-Rank Conditional Computation (LRCC). Метод внедряет в каждый блок Transformer легковесный маршрутизатор (router), который выбирает один из набора вложенных низкоранговых путей в зависимости от конкретного токена. Ключевая особенность обучения: низкоранговые факторы остаются замороженными, оптимизируются только маршрутизаторы. Это позволяет модели динамически распределять вычислительную нагрузку.
Результаты на Llama и Qwen
Эксперименты проводились на моделях Llama и Qwen для задач языкового моделирования и zero-shot инференса. LRCC демонстрирует превосходство над статическими методами при том же среднем бюджете активных параметров. Особенно заметен прогресс на Llama-2-7B, где метод обеспечивает значительный прирост точности на downstream-задачах.
| Модель | Метрика | Результат LRCC | Сравнение |
|---|---|---|---|
| Llama-2-7B | Средняя точность (downstream) | +7.6 п.п. | Превосходство над статическим сжатием |
| Llama-3.2-1B | Perplexity & Точность | Улучшение | При совпадении латентности (batch-size=1) |
| Llama-2-7B | Латентность | Конкурентоспособно | Без использования специализированных ядер |
Почему это важно
LRCC доказывает, что адаптация вычислений под «сложность» токена возможна без потери скорости инференса. Отсутствие необходимости в специализированных ядрах (kernels) упрощает внедрение метода в существующие инфраструктуры. Анализ выбора путей маршрутизаторами показывает, что модель действительно учится различать простые и сложные контексты, распределяя ресурсы осознанно.
Источник: arXiv cs.CL ↗