Проблема «налога на один проход»
Рекуррентные языковые модели (LLMs с повторным использованием слоев) традиционно предлагают компромисс: один и тот же чекпоинг может менять точность за счет увеличения количества циклов (loop count). Однако при однократном проходе (1 loop) такие модели обычно значительно уступают по качеству обычным моделям того же размера. Это явление авторы называют «налогом на один проход» (one-loop tax), из-за которого при низких задержках (latency) разработчики вынуждены поддерживать отдельные модели для разных сценариев.
Решение: Elastic Latent Recurrence (ELR)
Новый метод ELR позволяет обучать модели так, чтобы при одном проходе они достигали точности, сопоставимой с нерепетитивными аналогами, обученными на тех же данных. Каждый дополнительный цикл затем добавляет точность за счет увеличения вычислительных затрат. Ключевые технические решения:
- Гейтированное обновление состояния: использование обучаемого шага (step size) для контроля потока информации.
- Смешанные глубины (Mixed Depths): во время оптимизации в одном батче используются разные количества циклов, что стабилизирует обучение.
- Условная обработка: каждый проход учитывает индекс цикла и бюджет вычислений, что снижает функцию потерь на каждом дополнительном шаге.
Результаты на моделях Koi
Метод был протестирован на плотной модели Koi-4B и гибридной MoE-модели Koi-30B-A3B. Использование ELR позволяет получить единый чекпоинг, который адаптируется под задачи. Ниже приведены сравнительные метрики на среднем показателе по 10 задачам:
| Модель | Конфигурация | Результат (10 задач) | Примечание |
|---|---|---|---|
| Koi-4B (ELR) | 1 Loop | -0.52 п.п. от базиса | Сопоставимо с Qwen3.5-4B |
| Koi-4B (ELR) | 4 Loops | +7.25 п.п. от базиса | Значительный прирост точности |
| Koi-30B-A3B (ELR) | 1 Loop | +1.04 п.п. от базиса | Превосходит аналог того же размера |
| Koi-30B-A3B (ELR) | 4 Loops | +4.75 п.п. от базиса | Высокая эффективность |
Особое внимание стоит уделить индексу искусственного интеллекта (Artificial Analysis Intelligence Index): модель Koi-4B при одном цикле набирает 18 баллов (уровень Qwen3.5-4B), а при четырех циклах — 29 баллов.
Оптимизация памяти и обучения
Для снижения затрат на инференс авторы предлагают хранить в памяти только KV-кэш последнего цикла, что удерживает объем памяти на уровне однократного прохода, сохраняя при этом большую часть прироста точности от дополнительных циклов. В моделях архитектуры MoE повторное использование маршрутов экспертов первого цикла сокращает время обновления смешанных глубин на 11,7% без потери качества. Позднее введение смешанных глубин во время преподготовки (с нулевой инициализацией условий) позволяет достичь более низкой функции потерь по сравнению с обучением с нуля.
Источник: arXiv cs.CL ↗