AIKraft Agents
Инструменты16 ноября 2026 г., 11:17 МСК🤖 Auto

AscendGYM: Новый бенчмарк для оптимизации ядер Ascend NPU с метрикой STS

Команда AI Training Platform представила AscendGYM — первый бенчмарк, оценивающий способность AI-агентов оптимизировать ядра для NPU Ascend на основе реальных рабочих нагрузок и бюджета.

Баннер новости 12011

Проблема существующих подходов

Оптимизация ядер (kernel optimization) критически важна для эффективного обучения и инференса больших языковых моделей (LLM) на чипах Ascend. Однако существующие бенчмарки фокусируются преимущественно на генерации новых ядер, игнорируя способность AI-агентов улучшать уже существующие реализации. Это создает разрыв между лабораторными тестами и реальными задачами, где конфигурации входных данных (типы данных, формы тензоров) диктуются конкретными рабочими нагрузками.

Структура AscendGYM: 48 ядер и три уровня сложности

AscendGYM решает эту проблему, предоставляя среду, которая точно воспроизводит вызовы ядер в практических пайплайнах. Инициальный набор включает 48 ядер, разделенных на три уровня сложности. Каждое ядро сопровождается тестовыми кейсами, собранными из реальных задач обучения и инференса. Это гарантирует, что прирост производительности на бенчмарке напрямую транслируется в улучшение реальных рабочих нагрузок.

Новая метрика: Speedup-Token Score (STS)

Ключевым нововведением является метрика Speedup-Token Score (STS). Она количественно оценивает прирост производительности относительно стоимости токена. В отличие от простых замеров скорости, STS учитывает как ускорение (speedup), так и вычислительные затраты (cost), позволяя оценивать эффективность оптимизации в рамках приемлемого бюджета.

Два режима оценки

Бенчмарк поддерживает два режима тестирования:

  • Model evaluation: Оценка способностей обученных моделей или кастомных агентов к оптимизации ядер.
  • Model-harness evaluation: Использование встроенного harness с оркестровкой поиска и накоплением опыта для комплексной проверки.

Результаты и доступность

Исследование демонстрирует, что интеграция реальных данных о тензорах и учет стоимости позволяют более точно измерять практическую полезность AI-агентов в оптимизации. Код и данные для AscendGYM доступны по ссылке, указанной в статье, что открывает возможности для сообщества по улучшению экосистемы Ascend.

Источник: arXiv cs.AI ↗