Проблема статических бенчмарков
Традиционные benchmarks для программирования (например, HumanEval или MBPP) имеют критический недостаток: они статичны. По мере того как модели становятся сильнее, задачи из этих наборов «протекают» в обучающие данные, а сами бенчмарки достигают насыщения. Исследователи из команды Wei Minn, Zhensu Sun, Lwin Khin Shar и David Lo предлагают решение — SWE-Duel, арену, которая масштабируется сама по себе. В этой системе задачи и «ораклы» (правильные ответы) создаются непосредственно в момент оценки, что исключает утечку данных и позволяет сложности адаптироваться под уровень участников.
Механика «Красный против Синего»
Система работает по принципу дуэли между двумя агентами, которые поочередно меняются ролями. Процесс состоит из нескольких строгих этапов:
- Фаза Red (Автор): Агент работает в изолированной сессии над реальным репозиторием. Он предлагает новую функцию с тестами, а затем намеренно внедряет в нее тонкий баг и создает запечатанные тесты, которые этот баг должны ловить. Pull Request принимается только если: (1) новые тесты проходят, (2) старые тесты репозитория не падают, (3) новые тесты на баги падают.
- Проверка на решаемость: Перед тем как передать задачу, та же сессия агента должна вслепую исправить этот баг. Это гарантирует, что задача не является нерешаемой.
- Фаза Blue (Рецензент): Второй агент получает PR, не зная о наличии бага. Он должен отредактировать код так, чтобы прошли все три набора тестов (функциональные, регрессионные и тесты на баги). Побеждает тот, кто успешно завершит свою фазу.
Результаты турнира: 11 моделей, 15 репозиториев
Авторы провели турнир с участием 11 моделей-хarnessей на 15 репозиториях на пяти языках программирования, проведя 1 500 раундов. Результаты показали четкое разделение ролей: одни модели лучше создают сложные задачи, другие — лучше их решают.
| Модель / Инструмент | Роль | Ключевая метрика | Примечание |
|---|---|---|---|
| GPT-5.5 (Codex CLI) | Солвер (Blue) | 98.3% исправлений | Сильнейший решатель дефектов |
| Claude Opus 4.8 (mini-swe-agent) | Автор (Red) | 27.3% побед | Сильнейший автор задач |
| Новые версии vs Старые | Сравнение | 42.9% vs 4.0% | Задачи от новых версий побеждают фиксированных решателей чаще |
Почему это важно
Ключевой вывод исследования заключается в том, что сложность задачи напрямую коррелирует с способностью модели ее создать. Задачи, сгенерированные новейшими версиями моделей, побеждали фиксированных решателей в 42.9% случаев, тогда как задачи от старых версий — лишь в 4.0%. Это дает предварительные доказательства того, что SWE-Duel действительно создает более сложные вызовы по мере развития самих AI-агентов, решая проблему «выгорания» бенчмарков.
Статус публикации
Работа подана на рассмотрение в качестве конференции ICLR 2027. Авторы подчеркивают, что их подход позволяет оценивать не просто знание синтаксиса, а способность к сложному инженерному мышлению и рефакторингу в условиях неопределенности.
Источник: arXiv cs.CL ↗