Суть релиза: от проприетарного ядра к open-source
Компания DeepSeek опубликовала исходный код DeepInfer — высокопроизводительного движка инференса, который лежит в основе их флагманской модели DeepSeek-V4.1-Flash. Релиз включает сам фреймворк (лицензия Apache 2.0) и слой кодирования токенов deepseek-recipe (лицензия MIT). Это редкий случай, когда лаборатория уровня frontier делится не просто архитектурой модели, а реальным стеком обслуживания (serving stack), используемым в продакшене.
Железо и масштаб: 155 трлн токенов в день
DeepInfer оптимизирован для работы на NVIDIA SM100 (Blackwell) и Huawei Ascend 950 NPUs. Согласно данным компании, один кластер способен обрабатывать 155 триллионов токенов ежедневно, обеспечивая экономическую эффективность на уровне $38 за GPU-час в периоды низкого спроса. Архитектура требует Linux, GCC 13+, Python 3.12 и CUDA 13/CANN 9.2. Минимальная эффективная продакшн-единица состоит из 64 GPU для префилла и 64 GPU для декодирования.
Технические инновации: DSpark и Wide-EP
Движок строится на кастомных ядрах (FlashMLA, DeepGEMM, DeepEP) и внедряет пять системных решений:
- DSpark: speculative decoding с планированием на основе уверенности. Черновая модель предлагает 5 токенов, а Confidence Head предсказывает вероятность принятия. Это снижает количество верифицированных токенов черновика на 30% (с 5.00 до 3.2–4.4) при сохранении длины принятой последовательности.
- Wide-EP: использование экспертного параллелизма (Expert Parallelism) от EP64 до EP128 внутри суперноды для декодирования и EP2-EP8 для префилла.
- SWA bounded replay: при попадании в кэш пересчитываются только последние 128 токенов скользящего окна, что делает стоимость пересчета константной и почти вдвое снижает вычислительные затраты на префилл.
- Асинхронное планирование: CPU-батчинг перекрывается с выполнением на GPU, исключая простои.
Метрики производительности
DeepSeek опубликовал самосообщенные бенчмарки для модели DeepSeek-V4.1-Flash с контекстным окном 131,072 токенов. Тесты проводились на 4 GPU для префилла и 64 GPU для декодирования.
| Метрика | Значение | Условия |
|---|---|---|
| Throughput декодирования | > 25,000 токенов/с/GPU | 256 запросов на ранг, EP64, 75% acceptance rate |
| Скорость на пользователя | ~100 токенов/с | При 256 запросах на ранг |
| Throughput префилла | ~60,000 токенов/с/GPU | 4,096 токенов на ранг, EP4DP4 |
| Эффект DSpark | +4% ... +7% пропускной способности | При ~60 последовательностях на ранг |
Сравнение с конкурентами и ограничения
В отличие от универсальных фреймворков, DeepInfer пока поддерживает только одну модель. Однако он превосходит аналоги в специфичных оптимизациях MoE-архитектур. Ниже приведено сравнение ключевых характеристик.
| Характеристика | DeepInfer | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|---|
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Поддержка моделей | 1 (V4.1-Flash) | 200+ | LLM, VLM, Diffusion | Support matrix |
| Аппаратная база | NVIDIA SM100, Ascend 950 | NVIDIA, AMD, Intel, Ascend, TPU | NVIDIA, AMD, TPU, Apple, Ascend | NVIDIA GPUs |
| Speculative Decoding | DSpark (confidence-scheduled) | n-gram, EAGLE, DFlash | SpecForge drafts | Да |
| P/D Disaggregation | Нет (в этом релизе) | Да | Да (llm-d, Dynamo) | Да |
| Online Serving | Offline only | OpenAI-compatible server | Да | Да |
Важное ограничение: текущая версия поддерживает только офлайн-инференс. В ней отсутствуют система кэширования KV, дисагрегация префилла/декодирования и балансировщик нагрузки. DeepSeek объясняет это тем, что эти компоненты тесно связаны с их внутренней инфраструктурой. Тем не менее, релиз дает разработчикам бесценный доступ к оптимизациям уровня SOTA для MoE-моделей.
Источник: MarkTechPost ↗