Проблема синтетических тестов
Современные AI-агенты позиционируются как цифровые коллеги, способные вести долгие проекты. Однако существующие бенчмарки часто используют синтетические данные или изолированные задачи, игнорируя хаос реальной рабочей среды. В настоящем офисе информация разбросана по каналам Slack, прямым сообщениям, изменениям в репозиториях GitHub и документам Google Docs. Агентам нужно не просто искать факты, но и восстанавливать контекст из длинных обсуждений, выявлять противоречия и синтезировать данные из разных источников.
Что такое SlackBench
Исследователи из UC Berkeley и других институтов представили SlackBench — первый бенчмарк, основанный на приватных реконструкциях реальных академических исследовательских проектов. Датасет включает 140 запросов, которые проверяют способность агентов к:
- Агентному поиску по гетерогенным источникам (чат + код).
- Отказу от ответа (abstention) на вопросы с ложной предпосылкой или отсутствующей информацией.
- Целенаправленному суммированию длинных нитей диалогов.
- Выводу обстоятельств на основе длительного контекста.
Результаты тестирования
Команда протестировала 33 передовые модели и агентные фреймворки. Результаты показали существенный разрыв между ожиданиями и реальностью: большинство систем набрали менее 66%, а лучший результат составил около 80%. Это означает, что даже самые продвинутые модели часто теряют нить повествования или не могут корректно сопоставить изменения в коде с обсуждением в чате.
| Метрика / Категория | Значение / Описание |
|---|---|
| Количество запросов | 140 |
| Количество протестированных систем | 33 |
| Лучший результат (Best-in-class) | ~80% |
| Средний результат большинства | < 66% |
| Тип данных | Реконструкции реальных проектов (GitHub, Google Docs, Slack) |
Почему это важно
SlackBench демонстрирует, что задача «вопрос-ответ» в корпоративной среде нередуцируема к статическому поиску по корпусу текстов. Агентам необходимо динамически определять, какие каналы и сообщения релевантны, и отслеживать эволюцию решений. Этот бенчмарк становится новым стандартом для оценки готовности AI к реальной совместной работе, где ошибка в контексте может стоить дорого.
Источник: arXiv cs.AI ↗