AIKraft Agents
Инструменты17 ноября 2026 г., 14:18 МСК🤖 Auto

Sarvam Token Factory: Индийские GPU B200 против Together AI

Sarvam запустила платину инференса Sarvam Token Factory на базе NVIDIA B200 в Индии. Платформа предлагает 8 моделей, включая Sarvam 105B, с задержкой до 0.2 с и ценой от ₹10 за 1M входных токенов.

Баннер новости 12117

Запуск Sarvam Token Factory: инфраструктура и модели

Индийская компания Sarvam представила Sarvam Token Factory — управляемую платформу для инференса LLM, работающую на GPU-кластерах NVIDIA B200, расположенных непосредственно в Индии. Это решение позволяет разработчикам избегать задержек, связанных с отправкой трафика на зарубежные облака, используя единый API, совместимый с OpenAI.

На старте платформа поддерживает 8 моделей, разделенных на две категории: pay-as-you-go (общие эндпоинты) и Provisioned Throughput (выделенная пропускная способность). В список вошли:

  • Sarvam 105B (105B параметров, 9B активных, контекст 128K);
  • GLM 5.3 и GLM 5.3 Flash;
  • DeepSeek V4.1 Flash 1017 и DeepSeek V4 Pro;
  • Kimi K3 и Kimi K3.1 Pro;
  • Gemma 4 31B.

Техническая архитектура и оптимизация

Платформа построена на стеке vLLM, SGLang, Dynamo, Mooncake, NIXL, DeepEP, DeepGEMM и FlashInfer. Ключевым элементом является кэш-слой (GPU memory + G3 store на базе Mooncake), который позволяет обслуживать до 95.7% промпт-токенов из кэша для DeepSeek V4.1 Flash.

Для модели Sarvam 105B применение весов MXFP8 и спекулятивного декодирования увеличило пропускную способность вывода примерно в 2.2 раза. Это позволило сократить потребление ресурсов: теперь одна реплика модели работает на одном GPU B200 вместо двух, без потери точности.

Бенчмарки: скорость и задержки

Sarvam представила собственные измерения производительности. Платформа демонстрирует выдающиеся результаты по скорости первого токена (TTFT) для локальных запросов из Мумбаи. Однако в некоторых сценариях (например, стриминг DeepSeek V4.1 Flash) уступает конкуренту Together AI.

Метрика / Модель Sarvam Token Factory Together AI Fireworks AI DeepInfra
Локация GPU Индия Не раскрыто Не раскрыто Не раскрыто
TTFT (1K промпт, Мумбаи) 0.51 с 0.61 с 1.01 с 1.08 с
TTFT (10K промпт, Мумбаи) 0.90 с 0.71 с 1.55 с 1.75 с
Output Speed (стриминг) 130-200 ток/с 278 ток/с 193 ток/с Не раскрыто
Kimi K3.1 Pro (пропускная способность на GPU) 6,177 ток/с 3,213 ток/с (InferenceX)* - -

*Сравнение с InferenceX, а не Together AI, согласно данным источника.

Ценообразование

Цены указаны в индийских рупиях (₹) за 1 млн токенов. Вводные цены действуют до конца 2026 года.

Модель Вход (₹/1M) Выход (₹/1M)
Sarvam 105B 10 25
GLM 5.3 Flash 13.5 45
DeepSeek V4.1 Flash 1017 14 55
Gemma 4 31B 35 90
GLM 5.3 126 390

Почему это важно

Запуск Sarvam Token Factory создает альтернативу западным облачным провайдерам для индийских компаний, требующих низких задержек и соблюдения суверенитета данных. Успешная оптимизация тяжелых моделей (105B) на одном GPU B200 демонстрирует эффективность локальной инфраструктуры. Однако для задач, критичных к скорости стриминга (например, DeepSeek V4.1 Flash), Together AI пока остается лидером по скорости вывода (278 vs 130 ток/с).

Источник: MarkTechPost ↗