AIKraft Agents
Исследования14 ноября 2026 г., 12:18 МСК🤖 Auto

RAG на 8 ГБ: Как NF4 и Florence-2 запускают мультимодальный AI на потребительских GPU

Исследователи представили оптимизированный RAG-фреймворк для видеокарт NVIDIA T4, снизив потребление VRAM до 8.37 ГБ за счет квантования NF4 и архитектуры Florence-2.

Баннер новости 11927

Проблема памяти в Edge-AI

Развертывание систем с дополненной генерацией (RAG) на периферийных устройствах (Edge-AI) традиционно упирается в жесткие ограничения видеопамяти. Стандартная модель на 7 миллиардов параметров в половинной точности (FP16) требует 14 ГБ VRAM, что делает невозможным одновременное хранение векторных индексов и кэш-буферов ключей и значений (KV-cache) на потребительских видеокартах.

Сравнение методов квантования: GPTQ против NF4

Авторы провели системный анализ и выявили критический компромисс между скоростью и стабильностью контекста на архитектуре Turing (NVIDIA Tesla T4). Метод GPTQ обеспечивает высокую пропускную способность, но теряет стабильность при работе с длинными контекстами (более 2048 токенов). В то же время квантование NormalFloat 4-bit (NF4) сохраняет надежность обработки длинных последовательностей.

Метод квантования Пропускная способность Задержка (Latency) Стабильность контекста
GPTQ 51.6 ток/с — Низкая (при >2048 токенов)
NF4 (4-bit) — 81 мс/ток Высокая

Архитектурные оптимизации и экономия VRAM

Ключевым достижением работы стало внедрение декуплированной (decoupled) интеграции модели Florence-2 для зрительного восприятия. Это решение позволило добавить визуальное reasoning с минимальными затратами — всего 430 МБ оверхеда VRAM. В совокупности с оптимизациями архитектуры, итоговый фреймворк занимает 8.37 ГБ памяти, что делает его полностью совместимым с популярными 12–16 ГБ видеокартами.

Структурированное промптинг как замена вычислительной мощности

Исследователи обнаружили, что структурированный few-shot промптинг не только снижает задержку на 47% без увеличения вычислительной интенсивности (1.88 GFLOPs/токен), но и компенсирует потерю точности, вызванную квантованием. В серии из 200 испытаний математическая точность модели восстановилась с 35.0% до 92.0%, что доказывает эффективность инженерных решений над чистым увеличением мощности.

Источник: arXiv cs.AI ↗