OpenFrontiers: 12 000 научных задач для проверки AI на прочность

Проблема оценки AI в науке

Большие языковые модели (LLM) демонстрируют растущие способности в решении исследовательских задач, однако до сих пор отсутствовал комплексный ресурс для их объективной оценки. Существующие бенчмарки часто ограничиваются школьными или студенческими задачами, не отражая реальной сложности научного поиска. Авторы работы arXiv:2610.37739填补или этот пробел, создав OpenFrontiers — кросс-дисциплинарный ресурс, объединяющий корпус открытых проблем и ретроспективный бенчмарк.

Масштаб данных: 12 151 задача

Ключевая особенность OpenFrontiers — объем и структурированность данных. Корпус включает 12 151 проблему, для каждой из которых зафиксированы:

• Точная формулировка проблемы;
• Контекст и предшествующие исследования;
• Текущий прогресс в решении;
• Дополнительные метаданные.

Это позволяет не просто тестировать модель на «ответе», но и оценивать её способность работать с контекстом, историей вопроса и частичными решениями.

Бенчмарк научного открытия

Помимо корпуса открытых проблем, команда разработала специализированный бенчмарк, состоящий из 200 недавно решенных задач в области математики. Этот набор данных служит «золотым стандартом» для проверки способности AI к научному ретроспективному открытию — то есть способности воспроизвести или предсказать решение, которое было найдено человеком в недавнем прошлом.

Почему это важно

OpenFrontiers становится новым ориентиром для оценки перехода AI от генерации текста к реальному научному вкладу. Успешное решение задач из этого набора требует не только знания фактов, но и логического вывода, креативности и понимания глубинных связей в науке. Для сообщества это означает появление первого масштабируемого инструмента для сравнения моделей на уровне, близком к профессиональному исследованию.

Источник: arXiv cs.AI ↗