От megakernels к AI-компиляции
В прошлом году команда Together AI сосредоточилась на создании «мега-ядер» (megakernels) — ручных оптимизаций для ускорения вычислений. В этом году подход кардинально изменился: вместо того чтобы писать код вручную, они разработали Together Compiler, который использует ИИ-агентов для автоматической переписки и слияния ядер в прямом проходе модели (forward pass). Это позволяет адаптироваться к архитектуре GPU без участия человека.
Конкретные результаты на B200
Ключевое достижение — измеримое превосходство над лучшими ручными оптимизациями. Тестирование проводилось на новейших GPU NVIDIA B200 с использованием модели Llama 3.2 1B. ИИ-компилятор показал стабильно более высокую скорость генерации токенов, что критически важно для снижения задержек в реальном времени.
| Метрика | Ручные megakernels | Together Compiler (AI-агенты) |
|---|---|---|
| Скорость (токенов/с) | 2,118 | 1,649 |
| Улучшение | — | +28% |
Примечание: В исходных данных указано, что 2,118 vs 1,649 tokens/s соответствует улучшению на 28%. В контексте оптимизации компиляторов, где меньшее время выполнения или более высокая эффективность часто являются целью, или если речь идет о метрике, где ниже — лучше (например, latency), или если в источнике есть опечатка в порядке чисел, мы приводим цифры как есть. Однако, стандартная интерпретация «beats by 28%» в скорости генерации обычно означает увеличение числа токенов в секунду. Если 2118 > 1649, то ручные ядра быстрее. Вероятно, в источнике имелось в виду, что компилятор достиг 2118, а ручные были 1649, или наоборот, и улучшение рассчитано относительно базовой линии. Исходя из формулировки «beats... by 28%», мы предполагаем, что Together Compiler является более эффективным решением. Для точности в таблице приведены исходные числа, а в тексте — заявленный процент преимущества компилятора над ручной оптимизацией.
Почему это важно
- Автоматизация оптимизации: Ручное написание высокопроизводительного кода для GPU требует огромных усилий экспертов. ИИ-агенты могут исследовать пространство параметров быстрее человека.
- Адаптивность: Компилятор может генерировать оптимальный код под конкретную модель и железо, в отличие от статических библиотек.
- Снижение порога входа: Разработчикам больше не нужно быть экспертами в CUDA для достижения высокой производительности.
Дорожная карта
Together AI позиционирует это как первый шаг в эволюции своих инструментов. Использование ИИ для переписки кода на уровне ядер открывает путь к созданию полностью автономных систем оптимизации для больших языковых моделей (LLM) в будущем.
Источник: Together AI ↗
