Что такое Science Prediction Universe (SPU)
Исследователи представили Science Prediction Universe (SPU) — первый крупный бенчмарк для оценки способности ИИ предсказывать результаты реальных лабораторных экспериментов. В отличие от стандартных датасетов, SPU использует скрытые результаты (hidden experimental outcomes), что исключает возможность «подглядывания» в ответы.
Датасет включает:
- 100 публичных задач с верифицированными результатами из химии, науки о материалах, биологии и медицины.
- 16 приватных задач на основе unpublished wet-lab экспериментов (реальных «мокрых» опытов), результаты которых известны только создателям бенчмарка.
Задача агента — получить описание экспериментальной установки и список кандидатов, а затем ранжировать их по ожидаемому измеренному результату, используя любые доступные инструменты.
Результаты тестирования: разрыв между моделями
Авторы протестировали 13 конфигураций агентов, работающих на базе 12 передовых языковых моделей через два интерфейса (Codex и Claude Code). Результаты показали, что текущие системы далеки от насыщения возможностей предсказания. Модели четко разделились на два уровня производительности.
| Метрика | Лучший результат | Худший результат | Среднее/Контекст |
|---|---|---|---|
| Spearman correlation (task-adjusted) | 0.478 | 0.227 | Показывает слабую корреляцию с реальностью |
| Согласие агентов друг с другом | 0.52 | Высокая однородность мнений | |
| Согласие агентов с реальностью | 0.33 | Низкая точность предсказаний | |
| Обработано траекторий | 1,155 | 227,103 вызовов инструментов | |
Главная проблема: «Монотонные приоритеты»
Анализ 1,155 записанных сессий (суммарно 227 103 вызова инструментов) выявил фундаментальную проблему. Узким местом является не выполнение кода или поиск информации, а научное суждение.
Агенты демонстрируют так называемые «shared monotone priors» (общие монотонные приоритеты). Это означает, что модели соглашаются друг с другом чаще (0.52), чем с реальными экспериментальными данными (0.33). Они склонны полагаться на упрощенные эвристики, которые работают в большинстве случаев, но проваливаются в сложных научных задачах.
Почему это важно для развития AGI
Для достижения уровня AGI, превосходящего человеческие научные способности, ИИ должен уметь предсказывать результаты экспериментов надежнее людей. SPU показывает, что современные модели часто вычисляют тривиальные физические или химические прокси-показатели, которые не влияют на финальный исход эксперимента. Без решения проблемы «группового мышления» и улучшения научного рассуждения, ИИ останется инструментом автоматизации, а не партнером в открытиях.
Источник: arXiv cs.AI ↗
