Новый подход к рецензированию: поиск ошибок, а не имитация
Команда Sakana AI опубликовала работу Beyond Imitation в журнале TMLR, предлагая радикально новый подход к оценке качества LLM-рецензентов. В отличие от большинства существующих систем, которые оцениваются по тому, насколько близко их текст копирует человеческие рецензии, новая методика фокусируется на способности ИИ находить заложенные ошибки (contradictions) в научных статьях. Это переводит метрику успеха с «стиля» на «смысловую точность».
Архитектура Multi-Layered Review (MLR)
Система MLR использует три специализированных агента на базе моделей Anthropic (Claude Sonnet 4 и Haiku 3.5), не требуя дообучения или GPU. Процесс включает:
- Appendix Agent (Haiku 3.5): анализирует приложения, извлекая детали экспериментов.
- Literature Review Agent (Sonnet 4): (опционально) использует веб-поиск для контекстуализации работы в рамках предыдущих исследований.
- Review Agent (Sonnet 4): применяет трехэтапный подход (по методологии Кешава): 1) создание общего плана, 2) детальный поиск слабых мест и допущений, 3) синтез рекомендаций, сильных/слабых сторон и оценки.
Ключевое преимущество — передача PDF-файла напрямую, что позволяет сохранять формулы и фигуры, которые часто теряются при простой обрезке текста.
Результаты бенчмарка: 73% против 14%
Для тестирования команда создала Contradiction Benchmark, внедрив 1 164 противоречия в 257 статей с лицензией CC (ACL, AISTATS, CVPR, ICML 2025, NeurIPS 2024). Ошибки классифицировались по степени важности: «Distance 0» — ошибки в основных утверждениях (core claims), более высокие значения — в деталях.
Система MLR продемонстрировала подавляющее преимущество в обнаружении критических ошибок:
| Метрика | MLR (Sakana AI) | LLM-Review | AI Reviewer | AgentReview |
|---|---|---|---|---|
| Core-claim errors (Distance 0) | 73.43% | 14.56% | 11.17% | 14.81% |
| Общее обнаружение ошибок (4 обзора) | 40.95% | 6.39% | 6.50% | 5.95% |
| Корреляция с людьми (ICLR 2025) | 0.586 | -0.013 | 0.538 | 0.195 |
| Стоимость обзора | ~$0.47 | ~$0.01 | ~$0.49 | ~$0.81 |
| Input tokens | 189,062 | 6,517 | 403,654 | 310,964 |
Как показывает таблица, MLR находит в 5 раз больше критических ошибок, чем лучший базовый вариант (AgentReview). При этом корреляция с оценками человеческих рецензентов (0.586) близка к эталону «человек-человек» (0.742), что подтверждает адекватность системы.
Ограничения и стоимость
Несмотря на успехи, система не идеальна. На реальных отозванных статьях (WithdrarXiv-Check) точность в обнаружении точных совпадений упала до 16,11%. Также все протестированные ИИ-рецензенты оказались уязвимы к скрытым prompt-injection атакам.
Экономическая эффективность MLR высока: один обзор обходится в $0,47, потребляя около 189k токенов. Это примерно вдвое дешевле и эффективнее по объему входных данных, чем у конкурентов типа AI Reviewer, при этом обеспечивая значительно более глубокую проверку содержания.
Источник: MarkTechPost ↗