Проблема «умного» роутинга
Современные системы tiered inference (многоуровневого инференса) распределяют вычисления между локальными устройствами (on-device, edge) и датацентрами. Логика проста: если модель на устройстве уверена в ответе, он возвращается сразу; если нет — запрос эскалируется в облако. Однако большинство таких систем используют эвристики, не доказывая экономическую целесообразность каскада.
В новой работе A Feasibility Condition for Confidence-Gated Tiered LLM Inference (arXiv:2611.05394) автор предлагает замкнутую аналитическую формулу (closed-form condition), которая определяет, существует ли порог уверенности, делающий каскад выгоднее отправки 100% запросов в бэкенд.
Ключевой параметр: Архитектурное отношение стоимости ($\kappa$)
Исследование моделирует решение о маршрутизации как бинарный тест. Центральным элементом формулы становится параметр $\kappa$ (architecture cost ratio) — отношение стоимости локальных вычислений к стоимости эскалации в облако. Анализ показывает, что условие выполнимости инвертируется в зависимости от природы этих затрат:
| Тип затрат | Поведение системы | Роль сигнала уверенности |
|---|---|---|
| Локальные вычисления оплачиваются (billable) | Ограничение диктует стоимость. Каскад оправдан только при высоком качестве сигнала. | Критичен для фильтрации запросов |
| Локальные вычисления — sunk cost (существующее оборудование) | Выполнимость становится безусловной. Каскад выгоден всегда. | Определяет только итоговую точность/скорость |
Два предела: Полусигнальный пол и идеальный потолок
Формула задает границы, в которых может существовать эффективный каскад:
- Signal-free floor (Пол без сигнала): Нижняя граница качества сигнала. Если сигнал хуже этого порога, каскад не имеет смысла ни при каких условиях.
- Perfect-signal ceiling (Потолок идеального сигнала): Верхняя граница. Если сигнал идеален, каскад всегда выгоден (в рамках допущений модели).
Выводы для индустрии
Автор выделяет три требования к дизайну системы, которые существующие обученные примитивы (trained-in primitives) удовлетворяют лишь изолированно. Работа подчеркивает, что текущие подходы часто игнорируют математическую связь между стоимостью вычислений и качеством роутинга. Для создания по-настоящему эффективных систем требуется co-designed architecture (со-проектируемая архитектура) и новые протоколы тестирования, учитывающие этот «инверсионный» эффект стоимости.
Источник: arXiv cs.AI ↗