AIKraft Agents
Релиз модели14 ноября 2026 г., 17:17 МСК🤖 Auto

Адвокат улучшил AI-сервер: DeepSeek V4.1 на 8x V100 с точностью NVFP4

Ник Мермиджес, адвокат из Южной Каролины, обновил свой домашний сервер на 8 GPU Nvidia V100, повысив точность модели DeepSeek V4.1 Flash до уровня NVFP4. Это увеличило верность ответов до 95,1%, но снизило скорость генерации.

Баннер новости 11944

От 2-bit к NVFP4: что изменилось в архитектуре

Ник Мермиджес, основатель PLI Labs, успешно портировал модель DeepSeek V4.1 Flash на свой сервер, состоящий из 8 видеокарт Tesla V100 (32 ГБ каждая). Главная инновация — переход от 2-битной квантования к "near-NVFP4" (почти 4-битная плавающая точка Nvidia). Поскольку модель весит около 269 ГБ, а видеопамяти всего 256 ГБ, Мермиджес использовал гибридный подход: наиболее часто используемые "эксперты" модели (38,7% от всех 15 360 экспертов) хранятся в точности NVFP4, а остальные остаются в 2-битном формате.

Для работы с контекстом до 524K токенов сервер был дополнен 1 ТБ оперативной памяти (8 планок по 128 ГБ DDR4-2933) и видеокартой RTX 3090. Это позволило обрабатывать несколько запросов одновременно, что было невозможно на старой конфигурации.

Метрики: верность против скорости

Улучшение точности квантования дало значительный прирост в верности ответов (fidelity) по сравнению с эталонной версией Nvidia, но цена этому — снижение скорости генерации. Модель стала точнее подбирать следующие токены и лучше сохранять вероятностное распределение.

Метрика Было (2-bit) Стало (NVFP4) Изменение
Next Token Match (верность) 92.2% 95.1% +2.9%
KL Divergence (расхождение) 0.196 nats 0.079 nats Улучшение в 2.5 раза
Различия в тестах (из 513) 79 вариантов 8 вариантов Стабильность выросла
Скорость (код, 1K токенов) 215.0 т/с 150.1 т/с Снижение ~30%
Скорость (право, 1K токенов) 117.6 т/с 105.5 т/с Снижение ~10%

Решение проблемы с падениями

Ранее сервер часто падал, что автор изначально списывал на проблемы с шиной PCIe. После тщательной диагностики выяснилось, что причина была в неисправном блоке питания (PSU). Замена питания и добавление вентиляторов устранили критические ошибки, позволив стабильно обрабатывать длинные сессии (9 из 9 тестов прошли успешно).

Почему это важно для индустрии

Этот проект демонстрирует, что даже устаревшие GPU (V100 поддерживаются только драйвером R580) могут эффективно запускать современные Mixture-of-Experts (MoE) модели при грамотной оптимизации. Использование кастомных ядер, сгенерированных ИИ (Claude Code), и гибридное квантование позволяют достичь качества, близкого к флагманским решениям, на оборудовании, стоимость которого на вторичном рынке значительно ниже новых аналогов. Мермиджес уже планирует масштабирование, добавляя еще 8 V100 и второй сервер.

Источник: Tom's Hardware ↗