Проблема памяти в Edge-AI
Развертывание систем с дополненной генерацией (RAG) на периферийных устройствах (Edge-AI) традиционно упирается в жесткие ограничения видеопамяти. Стандартная модель на 7 миллиардов параметров в половинной точности (FP16) требует 14 ГБ VRAM, что делает невозможным одновременное хранение векторных индексов и кэш-буферов ключей и значений (KV-cache) на потребительских видеокартах.
Сравнение методов квантования: GPTQ против NF4
Авторы провели системный анализ и выявили критический компромисс между скоростью и стабильностью контекста на архитектуре Turing (NVIDIA Tesla T4). Метод GPTQ обеспечивает высокую пропускную способность, но теряет стабильность при работе с длинными контекстами (более 2048 токенов). В то же время квантование NormalFloat 4-bit (NF4) сохраняет надежность обработки длинных последовательностей.
| Метод квантования | Пропускная способность | Задержка (Latency) | Стабильность контекста |
|---|---|---|---|
| GPTQ | 51.6 ток/с | — | Низкая (при >2048 токенов) |
| NF4 (4-bit) | — | 81 мс/ток | Высокая |
Архитектурные оптимизации и экономия VRAM
Ключевым достижением работы стало внедрение декуплированной (decoupled) интеграции модели Florence-2 для зрительного восприятия. Это решение позволило добавить визуальное reasoning с минимальными затратами — всего 430 МБ оверхеда VRAM. В совокупности с оптимизациями архитектуры, итоговый фреймворк занимает 8.37 ГБ памяти, что делает его полностью совместимым с популярными 12–16 ГБ видеокартами.
Структурированное промптинг как замена вычислительной мощности
Исследователи обнаружили, что структурированный few-shot промптинг не только снижает задержку на 47% без увеличения вычислительной интенсивности (1.88 GFLOPs/токен), но и компенсирует потерю точности, вызванную квантованием. В серии из 200 испытаний математическая точность модели восстановилась с 35.0% до 92.0%, что доказывает эффективность инженерных решений над чистым увеличением мощности.
Источник: arXiv cs.AI ↗
