От 2-bit к NVFP4: что изменилось в архитектуре
Ник Мермиджес, основатель PLI Labs, успешно портировал модель DeepSeek V4.1 Flash на свой сервер, состоящий из 8 видеокарт Tesla V100 (32 ГБ каждая). Главная инновация — переход от 2-битной квантования к "near-NVFP4" (почти 4-битная плавающая точка Nvidia). Поскольку модель весит около 269 ГБ, а видеопамяти всего 256 ГБ, Мермиджес использовал гибридный подход: наиболее часто используемые "эксперты" модели (38,7% от всех 15 360 экспертов) хранятся в точности NVFP4, а остальные остаются в 2-битном формате.
Для работы с контекстом до 524K токенов сервер был дополнен 1 ТБ оперативной памяти (8 планок по 128 ГБ DDR4-2933) и видеокартой RTX 3090. Это позволило обрабатывать несколько запросов одновременно, что было невозможно на старой конфигурации.
Метрики: верность против скорости
Улучшение точности квантования дало значительный прирост в верности ответов (fidelity) по сравнению с эталонной версией Nvidia, но цена этому — снижение скорости генерации. Модель стала точнее подбирать следующие токены и лучше сохранять вероятностное распределение.
| Метрика | Было (2-bit) | Стало (NVFP4) | Изменение |
|---|---|---|---|
| Next Token Match (верность) | 92.2% | 95.1% | +2.9% |
| KL Divergence (расхождение) | 0.196 nats | 0.079 nats | Улучшение в 2.5 раза |
| Различия в тестах (из 513) | 79 вариантов | 8 вариантов | Стабильность выросла |
| Скорость (код, 1K токенов) | 215.0 т/с | 150.1 т/с | Снижение ~30% |
| Скорость (право, 1K токенов) | 117.6 т/с | 105.5 т/с | Снижение ~10% |
Решение проблемы с падениями
Ранее сервер часто падал, что автор изначально списывал на проблемы с шиной PCIe. После тщательной диагностики выяснилось, что причина была в неисправном блоке питания (PSU). Замена питания и добавление вентиляторов устранили критические ошибки, позволив стабильно обрабатывать длинные сессии (9 из 9 тестов прошли успешно).
Почему это важно для индустрии
Этот проект демонстрирует, что даже устаревшие GPU (V100 поддерживаются только драйвером R580) могут эффективно запускать современные Mixture-of-Experts (MoE) модели при грамотной оптимизации. Использование кастомных ядер, сгенерированных ИИ (Claude Code), и гибридное квантование позволяют достичь качества, близкого к флагманским решениям, на оборудовании, стоимость которого на вторичном рынке значительно ниже новых аналогов. Мермиджес уже планирует масштабирование, добавляя еще 8 V100 и второй сервер.
Источник: Tom's Hardware ↗
