Суть теста: не просто патч, а сохранение функционала
CWE-bench v2 — это не абстрактные вопросы, а реальные open-source репозитории. Агент получает код и инструкцию, цель — найти и исправить уязвимость (CWE), не сломав существующую функциональность. Всего в наборе 100 задач, покрывающих 91 уникальный тип уязвимости (CWE). Результаты полностью детерминированы и верифицируются программно, что исключает субъективность оценки.
Результаты: кто лидер и почему это важно
Среди 11 протестированных моделей (включая API-доступные Gemini, Claude и GPT) лидером стал Gemini 4 Argon. Однако ключевой вывод исследования — даже лучший результат не является совершенным. Лидер ошибается в 19% случаев при каждой попытке, что доказывает: задача защиты от сложных атак пока не решена полностью.
Ниже приведено сравнение топ-моделей по метрикам Pass@1 (успех с первой попытки) и Pass@4 (успех в течение 4 попыток), а также экономическая эффективность:
| Модель | Pass@1 (%) | Pass@4 (%) | Стоимость за rollout ($) |
|---|---|---|---|
| Gemini 4 Argon | 67.8 | 81.0 | 3.92 |
| Claude Opus 5.5 | 67.3 | 78.0 | 1.83 |
| DeepSeek V4.1 Flash | 57.0 | — | 0.04 |
DeepSeek V4.1 Flash демонстрирует лучшую эффективность по цене ($0.04 за запуск), уступая лидерам около 10-11 процентных пунктов по точности, но формируя «Парето-фронт» вместе с Opus и Argon.
Методология: защита от заучивания ответов
Авторы подчеркивают, что верификаторы специально настроены так, чтобы не принимать заученные патчи (например, известные апстрим-фиксы), если они не соответствуют логике инструкции. Каждая задача проверялась вручную и LLM-судьями на реалистичность. Также поддерживается скрытый набор задач (held-out set) для объективного отслеживания прогресса без риска «подгонки» моделей под публичные данные.
Как запустить свой агент
Бенчмарк полностью открыт. Для запуска используется среда Harbor (Docker-контейнеризированная среда). Запуск осуществляется одной командой с Hugging Face Hub:
- Доступ к датасету требует принятия условий на странице датасета.
- Используется флаг
-k 4для 4 попыток на задачу (итого 400 триалов). - Задачи помечены тегом
rl-environment, что позволяет использовать их не только для тестирования, но и для обучения защитных агентов через подкрепление (RL).
Результаты можно отправить в лидерборд через Pull Request в репозиторий модели или в Space CWE-bench.
Источник: Hugging Face blog ↗