Запуск Sarvam Token Factory: инфраструктура и модели
Индийская компания Sarvam представила Sarvam Token Factory — управляемую платформу для инференса LLM, работающую на GPU-кластерах NVIDIA B200, расположенных непосредственно в Индии. Это решение позволяет разработчикам избегать задержек, связанных с отправкой трафика на зарубежные облака, используя единый API, совместимый с OpenAI.
На старте платформа поддерживает 8 моделей, разделенных на две категории: pay-as-you-go (общие эндпоинты) и Provisioned Throughput (выделенная пропускная способность). В список вошли:
- Sarvam 105B (105B параметров, 9B активных, контекст 128K);
- GLM 5.3 и GLM 5.3 Flash;
- DeepSeek V4.1 Flash 1017 и DeepSeek V4 Pro;
- Kimi K3 и Kimi K3.1 Pro;
- Gemma 4 31B.
Техническая архитектура и оптимизация
Платформа построена на стеке vLLM, SGLang, Dynamo, Mooncake, NIXL, DeepEP, DeepGEMM и FlashInfer. Ключевым элементом является кэш-слой (GPU memory + G3 store на базе Mooncake), который позволяет обслуживать до 95.7% промпт-токенов из кэша для DeepSeek V4.1 Flash.
Для модели Sarvam 105B применение весов MXFP8 и спекулятивного декодирования увеличило пропускную способность вывода примерно в 2.2 раза. Это позволило сократить потребление ресурсов: теперь одна реплика модели работает на одном GPU B200 вместо двух, без потери точности.
Бенчмарки: скорость и задержки
Sarvam представила собственные измерения производительности. Платформа демонстрирует выдающиеся результаты по скорости первого токена (TTFT) для локальных запросов из Мумбаи. Однако в некоторых сценариях (например, стриминг DeepSeek V4.1 Flash) уступает конкуренту Together AI.
| Метрика / Модель | Sarvam Token Factory | Together AI | Fireworks AI | DeepInfra |
|---|---|---|---|---|
| Локация GPU | Индия | Не раскрыто | Не раскрыто | Не раскрыто |
| TTFT (1K промпт, Мумбаи) | 0.51 с | 0.61 с | 1.01 с | 1.08 с |
| TTFT (10K промпт, Мумбаи) | 0.90 с | 0.71 с | 1.55 с | 1.75 с |
| Output Speed (стриминг) | 130-200 ток/с | 278 ток/с | 193 ток/с | Не раскрыто |
| Kimi K3.1 Pro (пропускная способность на GPU) | 6,177 ток/с | 3,213 ток/с (InferenceX)* | - | - |
*Сравнение с InferenceX, а не Together AI, согласно данным источника.
Ценообразование
Цены указаны в индийских рупиях (₹) за 1 млн токенов. Вводные цены действуют до конца 2026 года.
| Модель | Вход (₹/1M) | Выход (₹/1M) |
|---|---|---|
| Sarvam 105B | 10 | 25 |
| GLM 5.3 Flash | 13.5 | 45 |
| DeepSeek V4.1 Flash 1017 | 14 | 55 |
| Gemma 4 31B | 35 | 90 |
| GLM 5.3 | 126 | 390 |
Почему это важно
Запуск Sarvam Token Factory создает альтернативу западным облачным провайдерам для индийских компаний, требующих низких задержек и соблюдения суверенитета данных. Успешная оптимизация тяжелых моделей (105B) на одном GPU B200 демонстрирует эффективность локальной инфраструктуры. Однако для задач, критичных к скорости стриминга (например, DeepSeek V4.1 Flash), Together AI пока остается лидером по скорости вывода (278 vs 130 ток/с).
Источник: MarkTechPost ↗
