Суть эксперимента: смысл против случайности
Исследователи из команды AutoTuring (Ambika Sharan, Grigory Chirkov, Soheil Abbasloo) поставили под сомнение способность AI-агентов действительно «понимать» архитектуру компьютера. В отличие от стандартных тестов, где меняется агент, авторы зафиксировали агента, но изменили подачу задачи. Один и тот же агент дважды оптимизировал 15-мерное пространство ускорителя:
- Семантический режим: параметры названы как архитектурные «ручки» (knobs) с показателями симулятора.
- Слепой режим: те же параметры — анонимные переменные в диапазоне [0,1], без контекста.
Цель — измерить разрыв в результатах, вызванный исключительно наличием смысла у данных.
Результаты: семантика экономит ресурсы
На тестовом наборе из девяти ядер FP16 GEMM агент, обладающий архитектурным контекстом, превзошел не только свою «слепую» версию, но и смоделированную NVIDIA H200. Ключевой метрикой стала эффективность: понимание архитектуры позволило сократить количество вызовов симулятора на 70,1%.
| Метрика | Агент с архитектурным контекстом | Слепой агент (анонимные переменные) | Сравнение с H200 |
|---|---|---|---|
| Прирост производительности | — | — | +5.4% |
| Превосходство над слепым агентом | — | — | +12.3% |
| Экономия вызовов симулятора | — | — | 70.1% меньше |
Главный инсайт: знания и критика — субституты
Самое неожиданное открытие: добавление цикла критического анализа (critic loop) позволило «слепому» агенту восстановить большую часть разрыва в производительности. При этом архитектурные знания не дали дополнительного прироста в комбинации с критикой. Это означает, что архитектурные знания и структурированная критика ведут себя как взаимозаменяемые ресурсы (субституты), а не как дополняющие друг друга (комплименты).
Значение для индустрии
Результаты показывают, что текущие оценки часто фиксируют лишь факт улучшения, но не объясняют причину. Если агент может оптимизировать ускоритель, просто «крутя ручки» без понимания их смысла, такая оптимизация не перенесется на следующую архитектуру. Исследование подчеркивает важность не только самих агентов, но и того, как мы формулируем для них задачи: наличие смысла в данных так же важно, как и наличие мощного критика.
Источник: arXiv cs.AI ↗