AIKraft Agents
Главная/Блог/Гайд/Sarvam Token Factory: Индийский центр…
Гайд10 мин чтения · 17 ноября 2026 г.

Sarvam Token Factory: Индийский центр инференса AI с низкой задержкой

Обзор платформы Sarvam Token Factory: как Индия становится хабом для быстрого и дешевого инференса LLM через OpenAI-совместимый API с локальными GPU-кластерами.

Sarvam Token Factory: Индийский центр инференса AI с низкой задержкой

В мире искусственного интеллекта, где гонка за производительностью и снижением затрат на инференс становится все более острой, географическое расположение серверов перестает быть второстепенным вопросом. Для разработчиков и компаний, работающих с рынками Азии и Ближнего Востока, задержка (latency) при обращении к моделям может быть критическим фактором, влияющим на пользовательский опыт и стоимость обслуживания. Именно на этом фоне компания Sarvam, один из ведущих индийских игроков в сфере AI, официально открыла доступ к своей платформе Sarvam Token Factory для всех желающих. Это не просто еще один провайдер API, а полноценная управляемая инфраструктура инференса, которая предлагает уникальный подход к размещению моделей и оптимизации вычислительных ресурсов.

Sarvam Token Factory позиционирует себя как решение, которое объединяет собственные модели компании (включая флагманскую Sarvam 105B) и популярные open-weight модели от других разработчиков, таких как GLM, DeepSeek, Kimi и Gemma. Все это работает на мощных GPU-кластерах NVIDIA, физически расположенных в Индии. Ключевое преимущество для локальных команд и разработчиков из соседних регионов — это минимальная задержка передачи токенов, так как трафик не отправляется на зарубежные облачные платформы, что часто приводит к задержкам и дополнительным расходам. В этой статье мы подробно разберем, как устроена эта платформа, какие модели она поддерживает, насколько она быстра и выгодна по сравнению с глобальными аналогами, а также какие технические инновации лежат в основе ее высокой производительности.

01Что такое Sarvam Token Factory и какие модели доступны?

Важно сразу прояснить терминологию: Sarvam Token Factory — это не одна конкретная языковая модель, а управляемый стек инференса (managed inference stack). Изначально платформа была представлена под названием "Sarvam Inference" на мероприятии Epoch, но теперь она эволюционировала в полноценный сервис, доступный через единый интерфейс. Это позволяет разработчикам обращаться к широкому спектру моделей через один OpenAI-совместимый API, что значительно упрощает интеграцию в существующие проекты. Вам не нужно писать отдельные адаптеры для каждой модели; достаточно изменить базовый URL в конфигурации вашего приложения.

На момент запуска платформа предлагает доступ к восьми моделям, которые можно разделить на две категории в зависимости от режима использования. Первая группа — это модели с оплатой по факту использования (pay-as-you-go), которые работают на общих конечных точках. Сюда входят:

  • Sarvam 105B: Собственная флагманская модель компании. Архитектура MoE (Mixture of Experts) с 105 миллиардами параметров, из которых активно используется 9 миллиардов. Модель поддерживает контекстное окно до 128K токенов.
  • GLM 5.3 и GLM 5.3 Flash: Модели от компании Zhipu AI, известные своей эффективностью и качеством.
  • DeepSeek V4.1 Flash 1017: Версия модели DeepSeek, оптимизированная для скорости.
  • Kimi K3 и Kimi K3.1 Pro: Модели от Moonshot AI, которые демонстрируют выдающиеся результаты в задачах, требующих длинного контекста и сложного рассуждения.
  • Gemma 4 31B: Открытая модель от Google, известная своей балансом между производительностью и размером.

Вторая группа моделей требует включения функции Provisioned Throughput (гарантированная пропускная способность), которая настраивается на уровне организации. Это необходимо для моделей, которые могут испытывать высокие нагрузки или требуют выделенных ресурсов для стабильной работы. В этот список входят DeepSeek V4 Pro, Qwen 3.8 27B, Clef и EmbeddingGemma 2. Такой подход позволяет предприятиям гарантировать отсутствие очередей и предсказуемую скорость ответа даже в часы пиковой нагрузки.

02Техническая архитектура: Как работает кэширование и планировщик

Высокая производительность Sarvam Token Factory объясняется не просто наличием мощных видеокарт, а сложной архитектурой программного обеспечения, которая оптимизирует каждый этап обработки запроса. Стек состоит из трех основных слоев, работающих в тесной связке вокруг механизма кэширования.

1. Плоскость управления (Control Plane): Этот слой отвечает за маршрутизацию запросов. Используется умный кэш-ориентированный маршрутизатор (cache-aware router), который определяет, может ли часть запроса быть обработана из кэша, а также система контроля допуска (admission control) и планировщик. Планировщик принимает решения о том, как распределить вычислительные ресурсы между различными моделями и запросами, чтобы максимизировать общую пропускную способность.

Sarvam Token Factory: Индийский центр инференса AI с низкой задержкой

2. Движок инференса (Inference Engine): Архитектура разделяет пулы GPU для этапов prefill (предварительная обработка входных данных) и decode (генерация выходных токенов). Это позволяет избежать конкуренции за ресурсы между этими двумя этапами, которые имеют разные профили нагрузки. Для реализации используются такие технологии, как vLLM, SGLang, Dynamo, FlashInfer и другие оптимизированные библиотеки.

3. Кэш (Cache): Это, пожалуй, самая интересная часть системы. Помимо стандартной памяти GPU, используется общее хранилище G3, построенное на базе технологии Mooncake. Именно кэширование приносит основную экономию и ускорение. Например, модель DeepSeek V4.1 Flash обрабатывает более 450 миллиардов токенов в день, и 95,7% токенов запроса обслуживаются непосредственно из кэша, минуя дорогостоящие вычисления. На модели GLM 5.3 планировщик позволил сократить время использования GPU для этапа prefill с 32,3 до 17,1 часов при той же нагрузке.

💡
Инновация с Sarvam 105B. Для собственной модели Sarvam 105B компания применила веса формата MXFP8 и технику спекулятивного декодирования (speculative decoding). Это позволило увеличить пропускную способность вывода примерно в 2,2 раза. В результате для обслуживания одной реплики модели теперь требуется всего один GPU NVIDIA B200, тогда как раньше требовалось два. При этом компания утверждает, что точность модели не пострадала.

Процесс развертывания новых моделей или обновлений также автоматизирован. Оркестратор на базе AI-агентов предлагает эксперименты по оптимизации, а инженер утверждает каждое изменение, что обеспечивает баланс между скоростью внедрения и надежностью.

03Производительность: Результаты бенчмарков

Цифры всегда говорят громче слов. Ниже приведены результаты тестирования производительности, опубликованные самой Sarvam. Важно отметить, что это самоотчетные данные, полученные в контролируемых условиях, но они дают четкое представление о потенциале платформы.

Скорость первого токена (TTFT) и скорость генерации:

  • Sarvam 105B: 0,2 секунды до первого токена и 330 токенов/с для одного пользователя. Это очень быстрый отклик, особенно для модели такого размера.
  • Gemma 4 31B (запрос с 10K токенов, из Мумбаи): 0,40 секунды до первого токена и 308 токенов/с. Для сравнения, у единственного другого протестированного провайдера эти показатели составили 2,00 секунды и 193 токена/с соответственно. Разница впечатляющая.
  • Kimi K3.1 Pro (на кластере из 16 GPU B200): 6 177 токенов/с на GPU против 3 213 токенов/с на GPU у конкурента InferenceX. При этом скорость на пользователя составляет 70 токенов/с, что в 1,9 раза выше.

Нагрузка от агентов (Agent Load):

Sarvam Token Factory: Индийский центр инференса AI с низкой задержкой

Особое внимание стоит уделить сценариям с высокой нагрузкой, характерным для AI-агентов, которые делают множество последовательных запросов. В тесте с 72 сессиями медианное время до первого токена на Sarvam составило 0,8 секунды, в то время как у InferenceX оно достигло 11,6 секунд. Для GLM 5.3 Flash (64 сессии) 99-й перцентиль времени до первого токена составил 3,2 секунды против 14,1 секунд у стандартных реализаций vLLM и Dynamo.

⚠️
Важное уточнение по бенчмаркам. Результаты не являются абсолютным триумфом во всех категориях. Например, в тесте с DeepSeek V4.1 Flash и запросом в 10K токенов, провайдер Together AI показал время первого токена 0,71 секунды против 0,90 секунды у Sarvam. Together также демонстрирует более высокую скорость потоковой передачи (278 токенов/с против 130 токенов/с на тарифе Sarvam Standard). Это напоминает, что выбор провайдера зависит от конкретных задач и приоритетов.

04Стоимость: Экономика инференса в Индии

Одним из главных драйверов adoption (внедрения) является цена. Sarvam Token Factory предлагает конкурентные тарифы, выраженные в индийских рупиях (₹) за миллион токенов. Ниже приведена таблица цен на момент запуска:

Модель Вход (Input) / Выход (Output) ₹ за 1M токенов
Sarvam 105B ₹10 / ₹25 (вводная цена)
GLM 5.3 ₹126 / ₹390
GLM 5.3 Flash ₹13,5 / ₹45
Gemma 4 31B ₹35 / ₹90
DeepSeek V4.1 Flash 1017 ₹14 / ₹55 (вводная цена)

Вводные цены (introductory pricing) действуют до конца 2026 года, что делает платформу крайне привлекательной для долгосрочных проектов. Также доступен более быстрый эндпоинт для DeepSeek Interactive, стоимость которого составляет ₹25 за вход и ₹105 за выход. Цены на модели с гарантированной пропускной способностью (Provisioned Throughput) в открытых документах не указаны и требуют индивидуального обсуждения.

Для сравнения, если перевести цены в доллары США (примерный курс 1 USD ≈ 83-84 INR), то входные данные для DeepSeek V4.1 Flash обходятся примерно в $0.17 за миллион токенов, а выходные — в $0.66. Это значительно дешевле многих западных провайдеров, особенно с учетом того, что вы получаете низкую задержку для азиатского региона.

05Сравнение с глобальными провайдерами

Чтобы понять место Sarvam Token Factory на глобальной карте, давайте сравним его с такими игроками, как Together AI, Fireworks AI и DeepInfra. Основные метрики сравнения приведены ниже:

  • Местоположение серверов: Sarvam использует GPU-кластеры в Индии. Для Together AI, Fireworks AI и DeepInfra местоположение не всегда раскрыто, но они часто полагаются на инфраструктуру в США или Европе, что может увеличивать задержку для пользователей из Азии.
  • Первая собственная LLM: Sarvam предлагает свою модель Sarvam 105B, что дает возможность оптимизации "железа" и "софта" под конкретную архитектуру. Остальные провайдеры в таблице не имеют собственных моделей в списке сравнения.
  • Локальное развертывание (On-premise): Sarvam предлагает возможность развертывания на стороне предприятия (on-premise), чего не делают конкуренты из списка. Это критически важно для компаний с жесткими требованиями к безопасности данных.
  • Задержка (TTFT) из Мумбаи: При запросе с 1K токенов Sarvam показывает 0,51 с, Together AI — 0,61 с, Fireworks — 1,01 с, DeepInfra — 1,08 с. При запросе с 10K токенов разрыв увеличивается: Sarvam — 0,90 с, Together — 0,71 с, Fireworks — 1,55 с, DeepInfra — 1,75 с. Здесь Together AI демонстрирует лучшую производительность на коротких запросах, но Sarvam выигрывает на длинных контекстах по сравнению с Fireworks и DeepInfra.
📌
Факт о кэшировании. Провайдеры Together AI, Fireworks AI и DeepInfra предлагают кэшированные входные данные по цене $0,006 за миллион токенов. Информация о стоимости кэширования на Sarvam Token Factory в открытых источниках на данный момент отсутствует, что может быть как преимуществом (если кэш бесплатен или дешев), так и скрытым фактором затрат.

06Что это значит на практике?

Открытие Sarvam Token Factory знаменует собой важный момент в развитии глобальной инфраструктуры AI. Это не просто еще один API, который можно добавить в свой проект. Это демонстрация того, что Индия способна создавать высокопроизводительные, технологически продвинутые решения для инференса, которые могут конкурировать с западными гигантами.

Sarvam Token Factory: Индийский центр инференса AI с низкой задержкой

Для разработчиков из Индии и соседних стран: Это возможность получить доступ к передовым моделям (включая мощные open-weight модели) с минимальной задержкой и, вероятно, более низкой стоимостью, чем при использовании американских облачных сервисов. Отсутствие необходимости отправлять трафик за границу также упрощает вопросы соблюдения локальных нормативных требований к данным.

Для глобальных компаний: Sarvam предлагает альтернативу для распределения нагрузки. Если у вас есть пользователи в Азии, использование Sarvam для обработки их запросов может значительно улучшить UX за счет снижения latency. Кроме того, возможность on-premise развертывания делает эту платформу привлекательной для корпоративных клиентов, которые не могут использовать публичные облака из-за политик безопасности.

Для индустрии AI: Успех Sarvam, особенно с их собственной моделью 105B, оптимизированной под специфическое оборудование (NVIDIA B200), показывает важность глубокой интеграции аппаратного и программного обеспечения. Использование MXFP8, спекулятивного декодирования и продвинутых систем кэширования позволяет достигать показателей, которые ранее считались возможными только на значительно более дорогих конфигурациях.

Однако, как и в любом новом продукте, есть нюансы. Самоотчетные бенчмарки требуют независимого подтверждения. Некоторые модели, такие как DeepSeek V4.1 Flash, могут показывать лучшие результаты у других провайдеров (например, Together AI) в определенных сценариях. Поэтому перед полным переходом на Sarvam Token Factory рекомендуется провести собственные тесты (POC) с вашими конкретными рабочими нагрузками.

В целом, запуск Sarvam Token Factory расширяет выбор для разработчиков, стимулирует конкуренцию и способствует децентрализации AI-инфраструктуры. Это шаг в сторону более устойчивой и географически распределенной экосистемы искусственного интеллекта, где качество и скорость не зависят от того, в каком континенте находится ваш сервер.

07Заключение

Sarvam Token Factory — это мощный инструмент для тех, кто ищет эффективное, быстрое и локализованное решение для инференса LLM. С поддержкой широкого спектра моделей, инновационным подходом к кэшированию и конкурентными ценами, эта платформа заслуживает внимания всех, кто работает с AI в регионе Азии и Ближнего Востока. Следите за обновлениями в документации и техническом блоге Sarvam, чтобы быть в курсе новых функций и оптимизаций.

Источник: MarkTechPost ↗