Проблема существующих бенчмарков
Современные Large Language Model (LLM) всё чаще используются для автоматизации научных открытий. Однако существующие тестовые среды (benchmarks) имеют критические недостатки: они смешивают логический вывод с программированием, оценивают способность к подгонке данных (data fitting) вместо предсказания на новых входных данных, и не отделяют эмпирические доказательства от предобученных приоритетов модели.
Что такое SciGame
Команда разработчиков представила SciGame — контролируемую среду, которая преобразует научную литературу в структурированные «научные карты» (scientific cards). Каждая карта порождает пару сред:
- Original (Оригинал): Реальная научная среда.
- Counterfactual (Контрфактуальная): Среда с измененными параметрами, но с тем же интерфейсом задачи.
Это позволяет тестировать способность агентов к обобщению и причинно-следственному выводу, а не просто к запоминанию фактов.Ключевые метрики и структура
SciGame содержит историческую коллекцию канонических научных задач. Ниже приведено сравнение подходов:
| Критерий | Старые бенчмарки | SciGame |
|---|---|---|
| Тип задачи | Смесь логики и кода | Чистое научное открытие |
| Оценка | Data fitting (подгонка) | Предсказание на unseen-вводах |
| Разделение знаний | Смешаны с предобучением | Эмпирика vs. Приоры LLM |
| Среда | Одна статичная | Пара: Реальная + Контрфактуальная |
Почему это важно
SciGame позволяет оценить, действительно ли AI-агент способен к научному открытию, или он просто извлекает паттерны из тренировочных данных. Использование контрфактуальных миров проверяет устойчивость гипотез агента к изменениям в данных, что является ключевым требованием для реальной научной методологии.
Источник: arXiv cs.AI ↗