Проблема: разрыв между кодом и ожиданиями
В рецензировании машинного обучения (ML) критическим узким местом является воспроизводимость результатов. Часто возникает разрыв: у рецензентов есть ожидания, у авторов — код, но нет четкого понимания, что именно должно быть воспроизведено. Авторы предлагают решение — Author-in-the-loop Agentic Reproducibility Auditing. Это не просто автоматическая проверка, а структурированный диалог, где AI-агент выступает в роли аудитора, а автор — как источник истины.
Механика: двухэтапный рабочий процесс на GitHub
Система использует структурированный чек-лист, где авторы фиксируют инструкции по воспроизведению и ограничения. Процесс разбит на два этапа:
- Автоматическая проверка: AI-агент анализирует код и результаты, выявляя расхождения с заявленным.
- Человеческое вмешательство: Если агент находит проблему, он запрашивает уточнение или исправление у автора. Рецензент выступает арбитром: он одобряет запросы и решает, закрыта ли проблема.
Агент разделяет задачи: он оценивает, удалось ли воспроизвести результаты, и отдельно — нужно ли авторам вносить правки. Это снижает нагрузку на рецензентов, которые теперь проверяют не код с нуля, а ответы на конкретные вопросы агента.
Результаты пилота: 36 статей, 133 таблицы
Система была развернута в рамках конференции. Задействовано 36 статей и 133 экспериментальные таблицы/графики. Ключевые метрики эффективности:
| Метрика | Значение | Комментарий |
|---|---|---|
| Количество проверенных статей | 36 | Полный цикл аудита |
| Объем данных | 133 | Таблицы и фигуры |
| Выявленные проблемы | 20 | После этапа человеческого рецензирования |
| Статус закрытия | Все закрыты | Полное воспроизведение не всегда верифицировано, но вопросы решены |
Почему это важно для индустрии
Исследование показывает, что декларации авторов (явные инструкции в чек-листах) кардинально меняют работу агента. Повторные аудиты с полными и пустыми чек-листами показали: когда агент знает контекст от автора, он точнее выявляет реальные проблемы, а не просто технические ошибки.
Это первый шаг к переходу от «черного ящика» рецензирования к прозрачной, верифицируемой модели, где AI берет на себя рутину проверки кода, а люди — контроль качества и этики. Для авторов это шанс доказать надежность своих результатов до публикации, а для конференций — инструмент повышения доверия к науке.
Источник: arXiv cs.AI ↗