Команда исследователей во главе с Динцзе Сунгом (Dingjie Song) представила архитектуру LEV (Looped Decision Model), которая решает проблему неэффективного распределения вычислительных ресурсов в классических decision-моделях. В отличие от стандартных языковых моделей, которые тратят одинаковое количество вычислений на простые и сложные вопросы, LEV использует механизм «петлевых» проходов (looping) для углубления анализа только там, где это необходимо.
Как работает LEV
Традиционные decision-модели (System 1) выдают ответ за один проход, но их «глубина» мышления фиксирована. Генеративные модели (System 2) могут рассуждать дольше, но платят за это каждым сгенерированным токеном. LEV предлагает гибридный подход: модель переиспользует свои слои, выполняя несколько итераций (loop steps) на одних и тех же весах. После каждого шага проверяются варианты ответов. Если уверенность низкая, запускается следующий проход. Остановка процесса контролируется небольшим «стопером» (stopper), который обучается на неразмеченных данных.
Результаты бенчмарков
Эксперименты проводились на датасете JevBench. Ключевое преимущество LEV — масштабируемость точности в зависимости от глубины прохода без необходимости дообучения модели. Модель 2.6B параметров демонстрирует значительный рост точности при увеличении глубины с 1 до 4 шагов.
| Модель | Глубина (Depth) | Точность (Accuracy) | Примечание |
|---|---|---|---|
| LEV (2.6B) | 1 (Fast) | 63.2% | Базовый уровень |
| LEV (2.6B) | 4 (Deep) | 76.2% | Максимальная точность |
| LEV (1.4B - 3B) | On-demand | +5.4–8.8 п.п. | Превосходство над dense-моделями при латентности <50 мс |
Экономия ресурсов
Механизм адаптивной глубины позволяет системе решать, сколько итераций нужно для конкретного вопроса. Это снижает вычислительные затраты на 15–24% по сравнению с фиксированной глубокой обработкой всех запросов. При этом потеря точности составляет менее одного процентного пункта, что делает метод сопоставимым или превосходящим каскадные модели (cascades) с фиксированной латентностью.
Почему это важно
LEV открывает путь к созданию более эффективных AI-ассистентов, которые не тратят энергию на «мыслительные» процессы для тривиальных задач, но способны к глубокому анализу, когда это требуется. Архитектура позволяет использовать один чекпоинт для ответов любой глубины, что упрощает развертывание моделей в условиях жестких ограничений по задержке (latency).
Источник: arXiv cs.AI ↗