Проблема масштабируемости рецензирования
По мере того как объем научных публикаций превышает возможности ручной проверки, возникла острая необходимость в автоматизации контроля качества. Основная проблема современных подходов на базе LLM заключается в их одностороннем анализе: они либо слишком поверхностно оценивают код, либо слишком буквально трактуют текст, что приводит к низкому показателю полноты (recall) при поиске расхождений.
Архитектура Dude: Двойное обнаружение
Команда авторов во главе с Вэйцзе Люем разработала Dude (Dual-Detection Multi-Agent System). В отличие от одиночных агентов, система использует несколько LLM-агентов, работающих в режиме согласования. Ключевым нововведением стало решение проблемы «асимметрии гранулярности» — разницы в детализации описания алгоритмов в тексте и их реализации в коде.
Механизмы фильтрации ложных срабатываний
Чтобы избежать гиперинтерпретации текста и ложных отчетов о расхождениях, в Dude внедрены два специфических механизма:
- Granularity-aligned negotiation: Процесс согласования между агентами, выровненный по уровню детализации языка статьи и языка программирования.
- Two-stage salience-filtering: Двухэтапная фильтрация, отсеивающая несущественные расхождения и фокусирующаяся на критических ошибках.
Результаты и метрики
Эксперименты на реальных датасетах с парами «статья-код» показали значительное превосходство Dude над базовыми методами. Система не только снизила количество ложноположительных срабатываний, но и существенно улучшила общие метрики качества.
| Метрика | Улучшение (макс.) | Примечание |
|---|---|---|
| Recall (Полнота) | +22.8% | Способность находить реальные расхождения |
| Precision (Точность) | +22.8% | Снижение ложных срабатываний |
| F1 Score | +18.7% | Гармоническое среднее точности и полноты |
Значение для сообщества
Работа принята в основную конференцию EMNLP 2026. Внедрение таких систем критически важно для научных издательств и платформ вроде arXiv, позволяя автоматизировать проверку воспроизводимости результатов исследований без колоссальных затрат человеческого труда.
Источник: arXiv cs.AI ↗