Суть проблемы: понимание vs выполнение
Microsoft выпустила CABRA (Coding Ability Blueprint for Rigorous Agent Evaluation) — синтетический фреймворк для диагностики способностей ИИ-агентов в программировании. Исследование, опубликованное в arXiv (2026), опровергает миф о том, что агенты с доступом к инструментам (grep, терминал) превосходят чистые LLM во всем. Результаты показывают: агенты решают задачи за счет внешних инструментов, но терпят крах там, где требуется глубокое семантическое понимание кода.
Методология: 6 840 задач и 4 оси сложности
Авторы сгенерировали 6 840 задач на основе направленных ациклических графов вызовов функций. Сложность масштабировалась по четырем параметрам, изолирующим конкретные навыки:
| Ось сложности | Что измеряется | Пример трансформации |
|---|---|---|
| Function Traversal | Количество функций, через которые должно распространиться изменение | Удаление мертвого кода, затрагивающего цепочку вызовов |
| Function Search | Количество отвлекающих функций в кодовой базе | Поиск нужной функции среди дистракторов |
| Runtime Resolution | Количество шагов выполнения для определения ветки | Кэширование вызова функции |
| Instruction Following | Количество одновременных ограничений на редактирование | Применение паттернов рефакторинга (DRY, добавление параметров) |
Ключевые результаты: где агенты ломаются
В тесте участвовали 8 LLM (включая GPT-5.3 Codex, Grok 4.3, DeepSeek V3.2, GPT-OSS 120B) и 6 конфигураций агента GitHub Copilot. Главные выводы:
- Инструменты не панацея: Агенты достигают почти идеальных результатов на простых задачах, перекладывая поиск на инструменты вроде grep. Однако на задачах, требующих понимания семантики, их точность падает.
- Проблема масштаба: На сложных задачах агенты тратят больше токенов не на редактирование, а на чтение и анализ кода, что указывает на перегрузку контекста.
- Семантический разрыв: Агенты деградируют на задачах типа Merge Codebases, где нужно найти логически различающуюся логику в эквивалентных программах. Это доказывает, что «понимание кода» — это узкое место, а не просто нехватка вычислительных ресурсов.
Технические детали и стоимость
Фреймворк требует Python 3.13+, Linux/WSL2 и Docker. Оценка агентов Copilot запускается в изолированных контейнерах. Важно отметить финансовый масштаб: полный прогон всех экспериментов обходится примерно в $30 000 из-за затрат на API и CLI Copilot. Данные уже доступны на Hugging Face (dataset: microsoft/CABRA), что позволяет исследователям воспроизвести бенчмарк.
Источник: Github ↗