Проблема: отсутствие стандартов для CPU в эпоху агентов
Agentic AI вызвал бурю в мире процессорных архитектур, но до сих пор не существовало надежных бенчмарков для оценки производительности CPU. Tom's Hardware разработал внутренний тест, изолирующий влияние ускорителей (GPU) для анализа того, как именно процессор и память влияют на эффективность «агентных циклов» (agentic loops). Тест направлен на определение оптимальной пропускной способности чипа при одновременном обслуживании максимального числа интерактивных сессий.
Методология: от единичных запросов к конкурентности
Исследователи протестировали платформу Nvidia DGX Spark (GB10) с 128 ГБ унифицированной памяти, GPU Blackwell и ARM-процессором Grace. Использование модели gemma4-26b-a4b показало, что при одиночной задаче почти все время уходит на GPU. Однако ключевой вывод заключается в том, что при запуске нескольких сессий в изолированных средах возникает конкуренция за ресурсы CPU. Тест «пробивает» чип, увеличивая количество одновременных процессов, чтобы выявить узкие места в выполнении инструментов (tools), компиляции кода и веб-запросах.
Техническая суть: что такое агентный цикл
Агентный AI работает через вызов функций (tools), определенных в фреймворках вроде LangGraph. Цикл включает:
- Вызов инструмента: LLM решает, какую функцию запустить (чтение файла, запуск pytest, поиск по коду).
- Обработка: CPU выполняет код функции и возвращает результат.
- Рекурсия: LLM анализирует ответ и принимает решение о следующем шаге.
Именно этап обработки инструментов и управления контекстом ложится на CPU, что делает его критическим компонентом при масштабировании.
Результаты и ограничения
Тестирование выявило, что нагрузка на CPU неравномерна. Например, агент для работы с PDF-документами тратит основное время CPU в начале задачи, после чего процесс переходит в режим чистой GPU-инференции. В то же время кодовые агенты требуют постоянной активности процессора. Авторы признают, что методология находится в стадии прототипирования и требует доработки для учета многошаговых (multi-turn) потоков, но она уже дает ценное представление о масштабируемости CPU.
| Компонент | Роль в Agentic Loop | Влияние на производительность |
|---|---|---|
| GPU (Blackwell) | Генерация текста, инференс LLM | Основной потребитель времени при одиночных запросах |
| CPU (Grace/ARM) | Выполнение Python-функций (tools), управление памятью | Критичен при высокой конкурентности (concurrency) сессий |
| Unified Memory | Общий пул данных для CPU и GPU | Снижает задержки при передаче контекста между компонентами |
Значение для рынка
Разработка этого бенчмарка важна для производителей CPU, так как она смещает фокус с чистой скорости инференса на способность системы обрабатывать множество параллельных задач с низким временем отклика. Это позволит пользователям и энтузиастам принимать более обоснованные решения при выборе железа для локального развертывания AI-агентов.
Источник: Tom's Hardware ↗