От статического к полиморфному: почему старые подходы больше не работают
Команда Together AI, известная созданием FlashAttention и ThunderKittens, объявила о смене парадигмы в оптимизации инференса. Они вводят термин Polymorphic Inference (полиморфный инференс) как ответ на взрывной рост разнообразия открытых моделей. В отличие от устаревшей «статической» эры, где оптимизации писались вручную под конкретную архитектуру (например, классические Transformer), современный инференс должен адаптироваться к бесконечному множеству форм.
Ключевые драйверы изменений, по мнению исследователей Together:
- Скорость релизов: 80% трафика на OpenRouter приходится на модели, выпущенные за последние 3 месяца.
- Разнообразие архитектур: Топ-10 популярных open-source моделей используют совершенно разные архитектуры, а не только стандартные трансформеры.
- Динамический трафик: Изменения в пост-обучении или продуктовой логике меняют форму нагрузки (например, увеличение количества токенов на «размышление» для повышения качества).
- Обновление железа: Переход от B200 к GB300 и будущие деплойменты Vera Rubin требуют мгновенной адаптации кода.
Together Compiler: AI-агенты оптимизируют сами себя
Решением проблемы стала система Together Compiler. Это не просто компилятор, а агентная среда поиска (agentic search), которая переосмысливает задачу оптимизации. Вместо написания «мега-ядер» (megakernels) под один статический сценарий, система использует рой AI-агентов для непрерывной итерации и поиска оптимальных паттернов оптимизации.
Это позволяет реализовать Continuous Compilation (непрерывную компиляцию). Когда появляется новая модель или меняется трафик, система автоматически адаптируется, приближаясь к аппаратным пределам производительности без участия инженеров.
Сравнение подходов: Static vs Polymorphic Inference
| Критерий | Static Inference (Старый подход) | Polymorphic Inference (Новый подход) |
|---|---|---|
| Архитектура | Закрытые модели, единый тип Transformer | Любые OSS-архитектуры (MoE, Mamba и др.) |
| Оптимизация | Ручной тюнинг гиперпараметров, статические конфиги | Автоматическая адаптация через AI-агентов |
| Железо | Фиксированная платформа | Динамическая поддержка новых GPU/CPU |
| Трафик | Статичный, предсказуемый | Эволюционирующий, динамический |
Результаты и планы
Together Compiler уже работает в продакшене на популярных serverless-эндпоинтах, показывая прирост производительности поверх уже оптимизированного кода. Ранее в октябре Together AI впервые обогнала закрытые лаборатории по объему обслуживаемых токенов на OpenRouter, обслуживая триллионы токенов ежедневно.
В ближайшем будущем компания планирует выпустить Self-serve Continuous Compilation, позволяя клиентам самостоятельно использовать Together Compiler для оптимизации своих выделенных эндпоинтов в зависимости от их специфических нагрузок и кейсов использования.
Источник: Together AI ↗