Масштаб исследования: 12 методов, 30 бенчмарков, 28 маршрутов
Платформа FlashRSI (от ruc-nlpir) стала первым комплексным атласом для оценки методов Resource Search and Intervention (RSI). Исследование охватывает 12 алгоритмов оптимизации, 30 различных бенчмарков и 4 нативных хайнера (инструмента выполнения). Цель проекта — стандартизировать сравнение эффективности AI-агентов при поиске и редактировании ресурсов в рамках заданных ограничений.
Ключевая особенность FlashRSI — прозрачность: каждый результат сопровождается полным логированием, историей снапшотов (Snapshot lineage) и траекториями выполнения, что позволяет воспроизвести любой эксперимент.
Сравнение лидеров: Claude Code против Mini-Agent
В публичной матрице результатов ключевым сравнением стало противостояние двух популярных хайнеров: Claude Code и Mini-Agent. Тестирование проводилось на наборах данных SearchQA, HotpotQA, Terminal-Bench 2.0 и AppWorld. Данные ниже демонстрируют абсолютные баллы (Percent scores) и прирост относительно базовой линии (+delta).
| Метод (Algorithm) | Хайнер (Harness) | SearchQA | HotpotQA | Terminal-Bench 2.0 | AppWorld |
|---|---|---|---|---|---|
| RRSI | Claude Code | 82.79 (+8.86) | 60.98 (+3.66) | 76.67 (+13.34) | 92.86 (+27.98) |
| RRSI | Mini-Agent | 81.64 (+5.21) | 59.76 (+1.22) | 76.67 (+10.00) | 84.52 (+19.04) |
| Meta-Harness | Claude Code | 85.07 (+11.14) | 62.20 (+4.88) | 70.00 (+6.67) | 90.48 (+25.60) |
| ACE | Claude Code | 83.93 (+10.00) | 63.41 (+6.09) | 66.67 (+3.34) | 91.07 (+26.19) |
| ACE | Mini-Agent | 84.71 (+8.28) | 63.41 (+4.87) | 70.00 (+3.33) | 91.67 (+26.19) |
Ключевые выводы: В задаче AppWorld (веб-исследование и взаимодействие с приложениями) Claude Code демонстрирует значительное преимущество, достигая 92.86% с методом RRSI. В то же время, в задачах на многошаговую логику (HotpotQA) разрыв между хайнерами минимален, а метод ACE показывает высокую стабильность для обоих инструментов.
Архитектура тестирования: Алгоритмы и Бенчмарки
FlashRSI структурирует оценку по трем осям: алгоритмы поиска, бенчмарки и хайнеры. Это позволяет исследователям изолированно изучать влияние каждого компонента.
- Алгоритмы (12 шт.): Включают OPRO, GEPA, ACE, SkillOpt, RRSI, EvoPrompt, Evo-Harness, AHE, ADAS, DarwinX, Meta-Harness и ModularRSI. Они отвечают за предложение, сравнение и выбор правок ресурсов.
- Бенчмарки (30 шт.): Охватывают широкий спектр задач: от QA (SearchQA, HotpotQA, MuSiQue) и математики (MATH, AIME, SuperGPQA) до кодинга (SWE-bench Verified/Pro, DeepSWE) и веб-исследований (BrowseComp, DeepSearchQA).
- Хайнеры: Поддерживаются Claude Code, Mini-Agent и Codex. Интеграция Pi, Hermes и OpenCode находится в стадии разработки.
Методология: От снапшота до анализа
Процесс оценки в FlashRSI строго регламентирован и состоит из четырех этапов:
- Capture the baseline: Создание начального AgentSnapshot и фиксация доступных ресурсов.
- Search inside scope: Генерация кандидатов на основе Target feedback или Worker edits в рамках заданных ограничений.
- Run the complete candidate: Выполнение кандидата через нативный хайнер с сохранением траектории.
- Score and select: Оценка траектории, выбор лучшего снапшота и тестирование на целевом сплите.
Все данные, включая редacted конфиги, метрики использования и логи, сохраняются для последующего анализа. Платформа также планирует внедрение поискового эксплорера для анализа кластеров ошибок и предложений рабочих (Worker proposals).
Как начать работу
Для быстрого старта разработчикам доступна команда через CLI. Установка и настройка ролей моделей описаны в документации. Пример запуска с использованием алгоритма SkillOpt на датасете SearchQA:
flashrsi run \
--config examples/quickstart.yaml \
--algorithm skillopt \
--benchmark searchqaПолная матрица результатов (28 строк) доступна на сайте проекта, где можно фильтровать данные по хайнерам и изучать перенос навыков (transfer) в near-domain и far-OOD сценариях.
Источник: Github ↗