Суть исследования: TheoPhysEval
Группа физиков из нескольких институтов (включая авторов из Индии, США и Европы) опубликовала в arXiv работу "TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving". Авторы создали уникальный набор из 50 неопубликованных задач уровня исследовательских проблем в теоретической физике. Ключевая особенность датасета — наличие верифицируемых ответов, что позволяет объективно оценить способность ИИ к автономному решению.
Задачи подобраны так, чтобы их мог решить эксперт-человек за один день или меньше, но это потребовало бы значительно больше времени для специалистов из смежных областей. Это делает бенчмарк идеальным тестом на эффективность и специализацию AI-агентов.
Результаты: GPT-6-Astra лидирует
Исследователи протестировали различные "off-the-shelf" AI-агенты в условиях, максимально приближенных к реальным: агенты имели доступ к поиску в литературе и могли писать скрипты для численных и символических вычислений. Лучший результат показал агент на базе GPT-6-Astra, запущенный в среде Codex.
| Метрика | Значение / Описание |
|---|---|
| Точность лучшего агента | 98% (near-perfect accuracy) |
| Стоимость решения | Менее $3 за одну задачу |
| Время решения экспертом | ~1 день (для сравнения с AI) |
| Влияние отказа от поиска | Незначительное падение точности (свидетельствует о сильной "меморизации" литературы) |
Почему это важно для науки
Результаты подтверждают, что современные AI-агенты уже способны выполнять конкретные расчеты, необходимые в теоретической физике. Однако авторы отмечают парадокс: несмотря на выдающиеся способности к решению задач, AI пока не приводит к прорывам в теоретической физике. Исследователи обсуждают возможные причины этого явления, указывая на разницу между решением известных паттернов и созданием принципиально новых теорий.
Также обнаружено, что агенты демонстрируют лишь незначительные изменения в точности, когда им запрещают использовать веб-поиск и доступ к фоновым исследовательским статьям. Это указывает на то, что передовые модели уже "запомнили" огромные объемы научной литературы, что меняет подход к оценке их знаний.
Вывод
TheoPhysEval становится первым крупным стандартом для оценки AI в фундаментальной науке. Снижение стоимости решения задачи до <$3 и высокая точность открывают путь к автоматизации рутинных вычислительных этапов в физике высоких энергий, статистической механике и квантовой космологии.
Источник: Arxiv ↗