Проблема «Novelty Judge»
Команда Allen Institute for AI (Ai2) выпустила бенчмарк Old Ideas, Novel Problems, чтобы проверить, насколько большие языковые модели способны отличать genuinely новые научные идеи от переработанных старых. В автоматизации научного открытия (системы AutoDiscovery, Theorizer) критически важно, чтобы ИИ не предлагал псевдо-инновации. Для этого используются так называемые novelty judges — LLM, которые оценивают оригинальность гипотез.
Проблема в том, что нет стандарта для таких судей. Выбор модели, промпта, бюджета рассуждений и наличия доступа к литературе кардинально меняет вердикт. При этом валидация часто проводится на человеческих статьях, а не на сгенерированных ИИ идеях, которые эти судьи должны оценивать в реальности.
Методология: ICLR 2026 и два пула
Авторы создали надежный датасет, проанализировав рецензии конференции ICLR 2026. Они не использовали факт публикации как метрику новизны, а искали явные упоминания оригинальности в текстах рецензентов. Сформированы два набора данных:
- Human-Only: 154 идеи из принятых статей (топ-10% рейтинга, все рецензенты подтвердили новизну) против 145 идей из отклоненных статей (низкий рейтинг, рецензенты указали на отсутствие новизны).
- Human+Generated: Те же 154 человеческие идеи сопоставлены с 154 идеями, сгенерированными простой LLM-моделью без поиска по литературе. Экспертная проверка подтвердила, что сгенерированные идеи менее новаторски.
Ключевой результат: хрупкость оценок
Тестирование шести моделей (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6) выявило катастрофическую нестабильность. Небольшие изменения в промпте приводят к радикальному изменению вердиктов, особенно при оценке ИИ-генераций.
| Модель | Датасет | Промпт A (с контекстом) | Промпт B (простой) | Разница точности |
|---|---|---|---|---|
| GPT-5.4 | Human+Generated | 93.5% | 40.9% | -52.6 п.п. |
| Claude Opus 4.6 | Human-Only | — | — | ~21 п.п. |
В эксперименте с GPT-5.4 на датасете Human+Generated, где модель должна была выбрать, какая из пары идей новее, простой промпт «какая идея новее?» снизил точность до уровня ниже случайного угадывания (40.9%), в то время как промпт с указанием, что рецензенты уже выделили одну новаторскую идею, дал 93.5%. Модель поменяла вердикт более чем в половине пар.
Почему это важно
Результаты показывают, что текущие LLM-судьи не являются надежным фильтром для научного поиска. Они могут казаться стабильными на человеческих текстах, но «сходят с ума» на сгенерированных. Отсутствие универсального промпта означает, что каждый исследователь должен вручную настраивать и валидировать своего «судью», что делает процесс оценки новизны субъективным и воспроизводимым лишь с трудом. Ai2 публикует код и данные, чтобы сообщество могло разрабатывать более устойчивые методы оценки.
Источник: Hugging Face blog ↗