AI выходит за рамки заученных фактов
Команда исследователей во главе с Чжи И Ли (Zhiyi Li) представила OpenProblemBench — первый масштабный бенчмарк, оценивающий способность искусственного интеллекта решать нерешенные научные проблемы. В отличие от стандартных тестов, где ИИ ищет ответы в обучающих данных, здесь модели предстоит работать с задачами из актуальной литературы по математике и теоретической физике, где решений еще не существует.
Бенчмарк включает 82 задачи, каждая из которых снабжена контекстом, предпосылками и описанием предыдущих попыток решения. Ключевая особенность — возможность независимой проверки математических или вычислительных утверждений в предложенных решениях.
Результаты: разрыв между лидерами и остальными
Для оценки использовались четыре независимые модели-оценщика, которые проверяли корректность, полноту и степень прогресса в решениях без доступа к эталонным ответам. Результаты показали существенный разрыв между проприетарными и открытыми моделями:
| Категория моделей | Средний процент решенных задач | Диапазон результатов |
|---|---|---|
| GPT-6-Astra (Лидер) | 14.0% | — |
| Полноразмерные открытые модели | — | 5.5% – 6.7% |
| Flash-модели (легковесные) | — | 2.4% – 3.7% |
Таким образом, GPT-6-Astra демонстрирует производительность, в 2–6 раз превышающую показатели лучших открытых аналогов. Это указывает на то, что текущие прорывы в AGI (общем искусственном интеллекте) сосредоточены именно в способности к абстрактному логическому выводу, а не просто к ретрансляции знаний.
Почему это важно для науки
Успешные решения в OpenProblemBench коррелируют с тремя ключевыми факторами:
- Представление задачи: Умение модели переформулировать проблему для поиска нестандартных путей.
- Обобщение: Способность строить аргументы, выходящие за рамки конечных примеров (индукция к дедукции).
- Доказательство шагов: Необходимость строгого обоснования каждого этапа решения, а не только итогового ответа.
OpenProblemBench становится полигоном для проверки того, может ли AI стать полноценным соавтором в фундаментальной науке, а не просто инструментом для анализа данных.
Источник: arXiv cs.AI ↗