Суть проблемы: Имитация vs Понимание
Команда Redwood Research (Hasan Baig, Caspar Oesterheld) провела спринт для оценки того, могут ли передовые языковые модели (LLM) имитировать работу исследователей безопасности ИИ. В отличие от стандартных тестов, RedwoodBench использует реальные внутренние данные компании: комментарии к Google Docs и ответы в Slack-тредах. Цель — измерить не просто знание фактов, а способность генерировать новые концептуальные идеи, основанные на контексте.
Архитектура бенчмарка
Тест состоит из двух треков, всего ~360 задач и ~1200 целевых точек (target points), которые должны быть обнаружены или сгенерированы моделью. Модели генерируют 20 коротких комментариев (50-70 слов), которые затем оцениваются с помощью LLM-грайдера (Opus 5.5) на соответствие реальным человеческим комментариям.
| Трек | Входные данные | Источник истины | Объем данных |
|---|---|---|---|
| RedwoodBench-Comments | Полный Google Doc | Комментарии исследователей к документу | 88 документов (143 вкладки), 550 точек |
| RedwoodBench-Slack | Обрезанный тред Slack | Ответы, появившиеся после обреза | 122 треда (224 обреза), 662 точки |
Ключевые метрики и результаты
Оценка проводится через Recall (доля найденных целевых точек) и Precision (точность сгенерированных комментариев). Главный вывод: корреляция с общим индексом способностей Epoch Capabilities Index (ECI) составляет 0.79, что подтверждает валидность теста как индикатора общей интеллектуальной мощности.
Однако абсолютные значения пугают. Даже при максимальных усилиях на рассуждение (reasoning effort) модель Opus 5.5 показывает:
- 4.4% Recall при низких усилиях.
- 8.1% Recall при максимальных усилиях.
Это означает, что модель упускает более 90% концептуальных инсайтов, которые могли бы быть сгенерированы человеком в той же ситуации. При генерации 100 комментариев на задачу скорость совпадений падает, и лишь 53% целевых точек находятся хотя бы в одном из запусков.
Почему это важно для индустрии
Существующие бенчмарки (TASTE, LMCA, CommentBench) часто страдают от смещения распределения (off-distribution) или требуют дорогой ручной разметки. RedwoodBench демонстрирует, что внутренние корпоративные данные могут быть преобразованы в строгие метрики концептуального мышления. Высокая корреляция с ECI (r=0.79) и способность теста выявлять разницу в качестве комментариев (Discrimination eval, r=0.92) делают его мощным инструментом для отладки методов обучения, направленных на улучшение «понимания» контекста, а не просто статистики токенов.
Источник: LessWrong ↗