Проблема AI-фабрик: баланс скорости и ватт
Современные AI-агенты — это не просто генераторы ответов. Они ищут информацию, опрашивают базы данных, пишут и тестируют код, а также выполняют действия. Каждый из этих этапов требует вычислений CPU, так как агенты переключаются между推理 (reasoning) на GPU и execution на CPU. По мере масштабирования бизнеса, AI-фабрики сталкиваются с ограничением по мощности: операторам нужно поддерживать больше агентов, не увеличивая задержки, и делать это с максимальной эффективностью на каждый ватт.
Решение NVIDIA Vera: единый чип для всех задач
NVIDIA Vera позиционируется как CPU, который объединяет высокую пропускную способность и быстрое выполнение задач агентов в одном чипе. Это избавляет провайдеров инфраструктуры от необходимости смешивать быстрые, но энергозатратные x86-процессоры с плотными, но медленными решениями. В сравнении в дата-центре мощностью 100 МВт NVIDIA показала, что Vera превосходит как самый быстрый x86-процессор, так и самый энергоэффективный.
Ключевые метрики производительности
Вот как Vera выглядит на фоне конкурентов в ключевых сценариях использования:
| Метрика | Результат NVIDIA Vera | Сравнение с x86 |
|---|---|---|
| Энергоэффективность (агентов на ватт) | Лидер рынка | 1.6x больше агентов, чем у самого быстрого x86 |
| Скорость выполнения агентов | Лидер рынка | В 2x быстрее самого энергоэффективного x86 |
| Масштабируемость (ClickHouse) | Лидер ClickBench | Линейное масштабирование на 176 ядрах без тюнинга |
Реальные кейсы от партнеров
Ранние пользователи уже тестируют Vera в продакшен-условиях, получая впечатляющие результаты:
- Perplexity: Задачи кодинга с использованием агентов выполнялись на 1.5x быстрее, чем на традиционных CPU. Компания планирует развертывание Vera в ближайшей производственной системе.
- DeepInfra: Достигла скорости, в 2.2 раза превышающую лучший x86-процессор, в задачах оркестрации агентов. Это стало самым быстрым результатом среди четырех протестированных архитектур.
- ClickHouse: Стандартная бинарная версия (без специальной оптимизации под Vera) показала линейное масштабирование на 176 ядрах и заняла первое место в лидерборде ClickBench.
- DuckLabs: Показала производительность TPC-H SF1000 на уровне 1.5x от медианного результата Intel Xeon 6.
- Daytona: Запустила 1,000 песочниц для агентов за 10.8 секунд (против 88.4 секунд у x86) и достигла 12.7 завершенных задач в секунду при 2,000 одновременных песочницах.
- Modal: Достигла пропускной способности песочниц на ядро, в 2x превышающей comparable x86-железо, причем преимущество растет под высокой нагрузкой.
Почему это важно
Появление NVIDIA Vera меняет архитектуру AI-инфраструктуры. Вместо компромисса между скоростью и плотностью развертывания, провайдеры получают единое решение, которое максимизирует работу на каждый ватт. Это критически важно для экономики AI-фабрик, где энергопотребление является одним из главных ограничений.
Источник: NVIDIA Blog ↗