Проблема существующих подходов
Оптимизация ядер (kernel optimization) критически важна для эффективного обучения и инференса больших языковых моделей (LLM) на чипах Ascend. Однако существующие бенчмарки фокусируются преимущественно на генерации новых ядер, игнорируя способность AI-агентов улучшать уже существующие реализации. Это создает разрыв между лабораторными тестами и реальными задачами, где конфигурации входных данных (типы данных, формы тензоров) диктуются конкретными рабочими нагрузками.
Структура AscendGYM: 48 ядер и три уровня сложности
AscendGYM решает эту проблему, предоставляя среду, которая точно воспроизводит вызовы ядер в практических пайплайнах. Инициальный набор включает 48 ядер, разделенных на три уровня сложности. Каждое ядро сопровождается тестовыми кейсами, собранными из реальных задач обучения и инференса. Это гарантирует, что прирост производительности на бенчмарке напрямую транслируется в улучшение реальных рабочих нагрузок.
Новая метрика: Speedup-Token Score (STS)
Ключевым нововведением является метрика Speedup-Token Score (STS). Она количественно оценивает прирост производительности относительно стоимости токена. В отличие от простых замеров скорости, STS учитывает как ускорение (speedup), так и вычислительные затраты (cost), позволяя оценивать эффективность оптимизации в рамках приемлемого бюджета.
Два режима оценки
Бенчмарк поддерживает два режима тестирования:
- Model evaluation: Оценка способностей обученных моделей или кастомных агентов к оптимизации ядер.
- Model-harness evaluation: Использование встроенного harness с оркестровкой поиска и накоплением опыта для комплексной проверки.
Результаты и доступность
Исследование демонстрирует, что интеграция реальных данных о тензорах и учет стоимости позволяют более точно измерять практическую полезность AI-агентов в оптимизации. Код и данные для AscendGYM доступны по ссылке, указанной в статье, что открывает возможности для сообщества по улучшению экосистемы Ascend.
Источник: arXiv cs.AI ↗
