Что такое ERNIE Evolve и как это работает
ERNIE Evolve — это автономная исследовательская система от Baidu, предназначенная для оптимизации кода обучения и инференса ИИ. Архитектура построена на двух вложенных циклах: Director выбирает направление исследований, анализируя базу знаний и прошлые результаты, а Selector и Executor тестируют гипотезы в изолированных средах. Ключевая особенность — наличие скрытого Evaluator и независимого Reviewer, которые отсеивают изменения, не дающие реального прироста или использующие лазейки в метриках.
Результаты на публичных бенчмарках
Система протестирована на трех ключевых наборах данных. ERNIE Evolve показала лучшие результаты по трем из четырех метрик, обновив исторические рекорды в задачах ускорения обучения и генерации.
| Бенчмарк | Метрика | ERNIE Evolve | Предыдущий рекорд / Конкуренты | Статус |
|---|---|---|---|---|
| NanoChat AutoResearch | Val BPB (↓) | 0.8763 | 0.9109 (Recursive), 0.9015 (Hyra-1.0) | Новый рекорд |
| NanoGPT Speedrun T1 | Время (с) (↓) | 38.9 с | 39.9 с (старый рекорд), 77.5 с (Recursive) | Новый рекорд |
| NanoGPT Speedrun T3 | Шаги (↓) | 2,590 | 2,690 (старый рекорд) | Новый рекорд |
| SOL-ExecBench | Mean SOL (↑) | 0.819 | 0.827 (лидерство) | Близко к лидеру |
Реальные приросты производительности ERNIE-5.5-Flash
Самое впечатляющее произошло при оптимизации инференса модели ERNIE-5.5-Flash на чипах Kunlunxin P800. За 4 раунда автоматического исследования Baidu удалось достичь кратного ускорения:
- Скорость генерации: достигла 623.6% от базового уровня. Это стало результатом внедрения fused mHC, speculative decoding и оптимизации диспетчеризации DeepEP.
- Детерминированный инференс (RL): пропускная способность выросла на +33.7%, время до первого токена сократилось на 12%.
- Декодирование одиночных запросов: ускорение на +14.9% за счет использования FP16 инструкций для FP8 матричных умножений и двухуровневого планировщика MoE.
Почему это важно
ERNIE Evolve демонстрирует практическую применимость концепции рекурсивного самосовершенствования (RSI) в индустрии. В отличие от многих исследовательских проектов, Baidu не просто опубликовала метрики, но и интегрировала результаты в production-модель. Система закрытая, но код и логи доступны на GitHub, что позволяет сообществу верифицировать подход к автоматизации ML-инженерии.
Бенчмарки
| Бенчмарк | ERNIE Evolve (Baidu) | Hyra-1.0 (Tencent Hunyuan) | Recursive | auto-research (rekursiv.ai) |
|---|---|---|---|---|
| NanoChat AutoResearch | 0.8763BPB | 0.9015BPB | 0.9109BPB | 0.8878BPB |
| NanoGPT Speedrun Track 1 | 38.9s | 76.4s | 77.5s | — |
| SOL-ExecBench | 0.819SOL | 0.771SOL | 0.754SOL | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗