Проблема существующих оценок
Большинство современных AI-агентов используют так называемые Skill Buffers — файловые пакеты процедурных знаний, которые агенты могут загружать по запросу. Однако текущие оценки их эффективности часто некорректны: они предполагают, что агент всегда выбирает идеальный навык вручную и начинает работу с «чистого листа» (без памяти). В реальных условиях агенты выбирают из доступной библиотеки и часто сохраняют контекст предыдущих задач.
Методология SkillBuffBench
Исследователи из Китая (Gengyue Dong, Ye Wei и др.) представили новый протокол оценки, который учитывает три ключевых фактора:
- Доступ к навыкам: три уровня (нет навыка, curated-навык, автоматический вызов из библиотеки).
- Память: включена или выключена.
- Платформа и модель: 4 разных agent harness и множество моделей (Anthropic, Google, OpenAI, а также open-weight модели от китайских провайдеров).
Технические детали и метрики
Оценка проводится на задачах из материаловедения и биологии, предоставленных экспертами. Каждое выполнение проверяется детерминированным верификатором. Важно, что в отчете отдельно указываются:
- Стоимость выполнения.
- Количество раундов работы агента.
- Время выполнения (wall-clock time).
- Уверенность модели (uncertainty) через парный bootstrap.
Статус проекта
На данный момент статья описывает дизайн бенчмарка и протокол. Результаты оценки находятся в процессе выполнения и будут добавлены в последующих версиях preprint. Это позволяет сообществу заранее оценить методологию и подготовить свои модели к тестированию.
Источник: arXiv cs.AI ↗
