AIKraft Agents
Исследования14 ноября 2026 г., 15:18 МСК🤖 Auto

Science Prediction Universe: AI пока не готов заменить ученых в лаборатории

Новый бенчмарк SPU показал, что даже топовые LLM проигрывают в предсказании результатов реальных экспериментов из-за «группового мышления» и использования бесполезных физических прокси.

Баннер новости 11938

Что такое Science Prediction Universe (SPU)

Исследователи представили Science Prediction Universe (SPU) — первый крупный бенчмарк для оценки способности ИИ предсказывать результаты реальных лабораторных экспериментов. В отличие от стандартных датасетов, SPU использует скрытые результаты (hidden experimental outcomes), что исключает возможность «подглядывания» в ответы.

Датасет включает:

  • 100 публичных задач с верифицированными результатами из химии, науки о материалах, биологии и медицины.
  • 16 приватных задач на основе unpublished wet-lab экспериментов (реальных «мокрых» опытов), результаты которых известны только создателям бенчмарка.

Задача агента — получить описание экспериментальной установки и список кандидатов, а затем ранжировать их по ожидаемому измеренному результату, используя любые доступные инструменты.

Результаты тестирования: разрыв между моделями

Авторы протестировали 13 конфигураций агентов, работающих на базе 12 передовых языковых моделей через два интерфейса (Codex и Claude Code). Результаты показали, что текущие системы далеки от насыщения возможностей предсказания. Модели четко разделились на два уровня производительности.

Метрика Лучший результат Худший результат Среднее/Контекст
Spearman correlation (task-adjusted) 0.478 0.227 Показывает слабую корреляцию с реальностью
Согласие агентов друг с другом 0.52 Высокая однородность мнений
Согласие агентов с реальностью 0.33 Низкая точность предсказаний
Обработано траекторий 1,155 227,103 вызовов инструментов

Главная проблема: «Монотонные приоритеты»

Анализ 1,155 записанных сессий (суммарно 227 103 вызова инструментов) выявил фундаментальную проблему. Узким местом является не выполнение кода или поиск информации, а научное суждение.

Агенты демонстрируют так называемые «shared monotone priors» (общие монотонные приоритеты). Это означает, что модели соглашаются друг с другом чаще (0.52), чем с реальными экспериментальными данными (0.33). Они склонны полагаться на упрощенные эвристики, которые работают в большинстве случаев, но проваливаются в сложных научных задачах.

Почему это важно для развития AGI

Для достижения уровня AGI, превосходящего человеческие научные способности, ИИ должен уметь предсказывать результаты экспериментов надежнее людей. SPU показывает, что современные модели часто вычисляют тривиальные физические или химические прокси-показатели, которые не влияют на финальный исход эксперимента. Без решения проблемы «группового мышления» и улучшения научного рассуждения, ИИ останется инструментом автоматизации, а не партнером в открытиях.

Источник: arXiv cs.AI ↗