Контекст: переход на локальные LLM
1 ноября 2026 года доступ к Claude Code был ограничен для ряда пользователей из РФ. Автор, не желая проходить верификацию по паспорту, перешел на локальные open-source модели. В качестве аппаратной базы использовались серверы NVIDIA DGX Spark, выделенные работодателем. Для развертывания применялись Ansible-плейбуки, а подготовка инфраструктуры занимала около одного рабочего дня.
Конфигурация эксперимента
Сравнение проводилось между двумя конфигурациями:
- Qwen 3.8 Flash Next: 1 × DGX Spark, квантизация по рецепту TensorFold, контекст 256K.
- DeepSeek V4.1-Flash-1017: 2 × DGX Spark, квантизация EXL3 (ExLlamaV3), контекст 512K.
Бенчмарки: скорость и задержки
Методика включала 10 замеров на контекстах от 2K до 128K токенов. Профиль — code, 256 токенов на выходе, temperature 0. Кэш префикса исключался случайным salt в начале промпта.
Qwen 3.8 Flash Next (1 GPU)
| Контекст | TPS p50 (min-max) | TTFT p50, с | Prefill, ток/с |
|---|---|---|---|
| 2K | 80.2 (67.0–87.0) | 0.94 | 2256 |
| 8K | 74.0 (60.2–89.4) | 3.29 | 2515 |
| 32K | 74.8 (35.4–89.3) | 13.05 | 2514 |
| 64K | 70.7 (33.7–89.6) | 26.90 | 2438 |
| 128K | 72.6 (58.5–86.5) | 56.94 | 2299 |
DeepSeek V4.1-Flash-1017 (2 GPU)
| Контекст | TPS p50 (min-max) | TTFT p50, с | Prefill, ток/с |
|---|---|---|---|
| 2K | 109.4 (83.2–117.1) | 1.25 | 1693 |
| 8K | 107.7 (82.6–117.8) | 3.90 | 2133 |
| 32K | 105.2 (89.7–118.0) | 14.54 | 2262 |
| 64K | 106.0 (90.3–117.2) | 35.51 | 1848 |
| 128K | 98.9 (72.1–116.4) | 73.01 | 1793 |
Анализ результатов
Нормировка на одно устройство показывает, что Qwen выдает ~70–80 ток/с на GPU, тогда как DeepSeek — ~49–55 ток/с на GPU. Однако DeepSeek на двух картах работает в 1,36–1,5 раза быстрее Qwen на одной, но не удваивает скорость. Ключевое отличие — в prefill: Qwen обрабатывает промпт быстрее (2,3–2,5 тыс. ток/с против 1,7–2,3 тыс. у DeepSeek), что критично при холодном старте длинных контекстов.
Рабочий процесс: планирование и имплементация
Автор использует гибридный подход: для планирования сложных задач запускаются обе модели с высоким уровнем reasoning (xhigh/high). В большинстве случаев DeepSeek предлагал более полные планы, которые Qwen признавал лучшими. Имплементация поручалась DeepSeek с использованием субагентов для разведки и написания кода, с обязательным коммитом на каждый шаг для последующего ревью.
Источник: Habr ↗
