Проблема: Ручная оптимизация больше не масштабируется
Инференс ИИ-моделей стал крайне динамичным. Архитектуры LLM разнообразны (даже топ-10 моделей на OpenRouter используют разные подходы), трафик варьируется от длины промптов до распределения экспертов в MoE, а железо включает H100, B200, Groq и другие платформы. Ручная настройка каждого режима стала невозможной. Традиционные агенты-оптимизаторы упираются в скорость экспериментов: запуск и остановка движков вроде vLLM или SGLang занимают минуты, что критически замедляет поиск оптимальных параметров.
Решение: Together Compiler (TKCC) и «постоянные движки»
Together AI представила TKCC — первую систему непрерывной оптимизации (Continuous RSI), использующую высокопроизводительных агентов. Ключевая инновация — концепция «постоянных движков» (persistent engines). Вместо перезагрузки движка для каждого теста, TKCC загружает его один раз и позволяет горячую перезагрузку любых вариантов forward pass. Это сокращает время подготовки к обслуживанию с 467 секунд до 9 секунд.
| Фаза | Стандартный подход (с) | Together Compiler (с) |
|---|---|---|
| Инициализация процесса + воркера | 93 | 1.7 |
| Загрузка весов | 50 | — |
| Настройка KV-cache | 21 | — |
| Разогрев JIT-ядер | 93 | — |
| Автонастройка (Autotuning) | 193 | — |
| Готовность API-сервера | 10 | — |
| RPC вызов + настройка TKCC | — | 1.7 |
| CUDA-graph capture | — | 7.3 |
| Общее время до обслуживания | 467 | 9.0 |
Двухуровневая архитектура и точность измерений
TKCC балансирует между скоростью и точностью, используя два типа движков:
- Быстрые движки: Загружают несколько слоев для быстрой итерации и низкого дисперсии замеров.
- Медленные движки: Загружают много слоев для проверки оптимизаций на реальных распределениях данных.
Это критично, так как современные архитектуры (MoE, sparse attention) чувствительны к данным. Оптимизации, работающие на случайных данных, могут провалиться на реальных запросах. TKCC также использует кастомную модель стоимости для выбора стратегий параллелизма (TP, EP, DCP), учитывая такие факторы, как дисбаланс экспертов MoE.
Результаты: 1.3-3x ускорение и новые рекорды
За 24 часа TKCC достигла значительных улучшений на передовых открытых моделях:
- Общее ускорение: 1.3-3x больше токенов в секунду (TPS) на моделях Kimi K3, GLM 5.3, MiniMax M3.1-Flash и DeepSeek v4.1-Flash.
- Рекорды InferenceX: 1111 TPS на MiniMax M3.1-Flash и 1205 TPS на DeepSeek v4.1-Flash (batch size 1, низкая задержка).
- Против мега-ядер: В 1.7 раза выше TPS на Llama 1B (batch size 1) по сравнению с оптимизированными вручную решениями.
TKCC уже обслуживает триллионы токенов ежедневно и демонстрирует способность обобщать оптимизации на другие домены: моделирование погоды, PDE, временные ряды и биологические данные.
Источник: Together AI ↗