Проблема «черного ящика» в оценке агентов
Современные AI-агенты объединяют языковые модели с «рукоятками» (harnesses), которые управляют вызовами API, исполняют инструменты и хранят историю в памяти. Однако понять, действительно ли эти компоненты помогают, сложно из-за отсутствия стандартизированных метрик. Команда исследователей во главе с Чжанкэ Чжоу (Zhanke Zhou) представила AlphaDiana — измерительную систему с модульными интерфейсами для датасетов, агентов, окружений и оценщиков.
Ключевая особенность AlphaDiana — возможность проводить как макро-анализ целых агентов, так и микро-вмешательства в отдельные компоненты (инструменты, навыки, память) при строго контролируемых условиях.
Эксперимент: 3 модели, 3 harness, 5 бенчмарков
Авторы протестировали три открытые reasoning-модели и три открытые harness-платформы на пяти бенчмарках, основанных на ответах (answer-based), и двух интерактивных бенчмарках. Результаты выявили парадоксальную тенденцию: наличие инструментов не является панацеей.
| Компонент | Наблюдаемый эффект | Причина/Последствие |
|---|---|---|
| Инструменты (Tools) | Нестабильный рост точности | Выигрыш на сложных вопросах нивелируется ошибками на простых, которые модель решала и без инструментов. |
| Навыки (Skills) | Отсутствие надежности | Гайдлайны по навыкам не обеспечивают стабильного улучшения accuracy. |
| Память (Memory) | Неоднозначный результат | Сохранение истории не гарантирует повышения точности ответа. |
| Токены (Tokens) | Ложная корреляция | Низкая энтропия токенов может сопровождаться неверным ответом; меньше токенов на выполнение ≠ больше токенов на верный ответ. |
Почему это важно для индустрии
AlphaDiana демонстрирует, что традиционные метрики (например, количество использованных токенов или наличие истории) не всегда отражают реальную эффективность агента. Система связывает правильность ответа с трассировкой выполнения (traces) и записями ресурсов, позволяя диагностировать сбои под общими политиками задач. Это критически важно для разработчиков, которые хотят оптимизировать cost-efficiency агентов, не жертвуя качеством рассуждений.
Техническая реализация
Система сохраняет нативные циклы управления harness, но позволяет раздельно контролировать повторное использование файлов и удержание памяти. Это обеспечивает воспроизводимость экспериментов и честное сравнение различных архитектур агентов на одних и тех же условиях.
Источник: arXiv cs.AI ↗