Проблема старых бенчмарков
Существующие тесты для кодовых моделей (coding benchmarks) оценивают выполнение единичных, полностью специфицированных задач. Многие из них достигли насыщения, что делает их бесполезными для оценки прогресса в создании реальных продуктов. На платформе Replit пользователи уже могут создавать целые продукты через последовательные запросы функций (feature requests) без написания кода, но для выбора лучших моделей нужен новый стандарт оценки.
Методология ViBench 2.0
ViBench 2.0 фокусируется на long-horizon software building (долгосрочном построении ПО). В набор данных входят 17 полных веб-продуктов, смоделированных на основе широко используемого программного обеспечения. Процесс оценки включает:
- 241 запрос на добавление функций для каждого продукта.
- 544 тестовых плана, запускаемых браузерным агентом.
- Строгий протокол оценки: билд считается успешным только если все тестовые планы пройдены. Оценка производится только после завершения всей работы, как это делает конечный пользователь.
Ключевые результаты: «Разрыв надежности»
При оценке девяти моделей исследователи обнаружили значительный разрыв между прохождением тестов и работоспособностью продукта. Даже самые сильные модели часто не могут доставить полностью рабочий продукт, несмотря на высокие показатели в промежуточных тестах.
| Метрика | Значение / Наблюдение |
|---|---|
| Пройденные тестовые планы (топ-3 модели) | До 98% |
| Успешные билды (полностью рабочие продукты) | Не более 65% |
| Open-weight модели | 0% успешных билдов |
| Рост Pass@1 (публичные продукты) | С 3% до 53% за три релиза одной модели |
| Снижение стоимости билда | Более чем в 2 раза |
Динамика и выводы
Разрыв между выполнением тестов и финальным результатом быстро сокращается. За три выпуска одной семейной модели показатель Pass@1 на публичных продуктах вырос с 3% до 53%, а стоимость одного билда упала более чем вдвое. Однако ни одна из открытых моделей (open-weight) пока не смогла успешно завершить задачу. Исследователи опубликовали 8 продуктов с инструментами оценки, оставив 9 в закрытом доступе для предотвращения переобучения.
Источник: arXiv cs.AI ↗