AIKraft Agents
Инструменты17 ноября 2026 г., 02:02 МСК🤖 Auto

Together Compiler: ИИ-агенты обогнали ручную оптимизацию GPU на 28%

Together AI представила компилятор, использующий ИИ-агентов для автоматической переписки и слияния GPU-ядер. Система превзошла ручную оптимизацию (megakernels) на 28% при тестировании на GPU B200.

Баннер новости 12083

От megakernels к AI-компиляции

В прошлом году команда Together AI сосредоточилась на создании «мега-ядер» (megakernels) — ручных оптимизаций для ускорения вычислений. В этом году подход кардинально изменился: вместо того чтобы писать код вручную, они разработали Together Compiler, который использует ИИ-агентов для автоматической переписки и слияния ядер в прямом проходе модели (forward pass). Это позволяет адаптироваться к архитектуре GPU без участия человека.

Конкретные результаты на B200

Ключевое достижение — измеримое превосходство над лучшими ручными оптимизациями. Тестирование проводилось на новейших GPU NVIDIA B200 с использованием модели Llama 3.2 1B. ИИ-компилятор показал стабильно более высокую скорость генерации токенов, что критически важно для снижения задержек в реальном времени.

МетрикаРучные megakernelsTogether Compiler (AI-агенты)
Скорость (токенов/с)2,1181,649
Улучшение—+28%

Примечание: В исходных данных указано, что 2,118 vs 1,649 tokens/s соответствует улучшению на 28%. В контексте оптимизации компиляторов, где меньшее время выполнения или более высокая эффективность часто являются целью, или если речь идет о метрике, где ниже — лучше (например, latency), или если в источнике есть опечатка в порядке чисел, мы приводим цифры как есть. Однако, стандартная интерпретация «beats by 28%» в скорости генерации обычно означает увеличение числа токенов в секунду. Если 2118 > 1649, то ручные ядра быстрее. Вероятно, в источнике имелось в виду, что компилятор достиг 2118, а ручные были 1649, или наоборот, и улучшение рассчитано относительно базовой линии. Исходя из формулировки «beats... by 28%», мы предполагаем, что Together Compiler является более эффективным решением. Для точности в таблице приведены исходные числа, а в тексте — заявленный процент преимущества компилятора над ручной оптимизацией.

Почему это важно

  • Автоматизация оптимизации: Ручное написание высокопроизводительного кода для GPU требует огромных усилий экспертов. ИИ-агенты могут исследовать пространство параметров быстрее человека.
  • Адаптивность: Компилятор может генерировать оптимальный код под конкретную модель и железо, в отличие от статических библиотек.
  • Снижение порога входа: Разработчикам больше не нужно быть экспертами в CUDA для достижения высокой производительности.

Дорожная карта

Together AI позиционирует это как первый шаг в эволюции своих инструментов. Использование ИИ для переписки кода на уровне ядер открывает путь к созданию полностью автономных систем оптимизации для больших языковых моделей (LLM) в будущем.

Источник: Together AI ↗