Масштабный аудит научного ИИ
Команда исследователей из MIT (Gabriel Manso, Emma Fu, Neil Thompson) провела беспрецедентный анализ эффективности искусственного интеллекта в науке. Они собрали корпус из 2 507 парных сравнений («head-to-head»), опубликованных в период с 2000 по начало 2025 года. Выборка охватывает 27 научных дисциплин, что позволяет сделать выводы, применимые к широкому спектру исследований — от физики до экономики.
Цель работы — проверить гипотезу о том, что ИИ становится «универсальным научным методом». Результаты показали глубокую дихотомию: ИИ не заменяет старые методы, а формирует новую гибридную среду.
ИИ против традиционной статистики: цена победы
Когда ИИ сравнивается с классическими статистическими методами, он чаще всего выигрывает по точности. Однако эта победа имеет высокую цену. Исследование выявило два критических факта:
- Высокая вычислительная стоимость: ИИ-модели требуют значительно больше ресурсов для обучения и инференса по сравнению с легковесными статистическими тестами.
- Стабильная доля проигрышей: В 25% случаев ИИ оказывается менее точным и при этом более затратным. Эта доля оставалась стабильной на протяжении десятилетия, что опровергает идею бесконечного улучшения ИИ во всех задачах.
ИИ против научных вычислений (Scientific Computing)
В сравнении с численными методами и симуляциями (scientific computing) ситуация исторически была иной: ИИ часто уступал в точности. Однако тренд изменился. Начиная с 2020 года производительность ИИ резко возросла, и теперь он превосходит традиционные вычислительные методы в более чем 50% случаев, сохраняя при этом преимущество в скорости или стоимости вычислений.
Сводные данные эффективности
Ниже представлена сводка по ключевым метрикам сравнения ИИ с традиционными подходами на основе выборки из 2 507 исследований:
| Категория сравнения | Результат ИИ | Вычислительная стоимость | Динамика (после 2020) |
|---|---|---|---|
| Традиционная статистика | Часто превосходит | Значительно выше | Доля проигрышей (25%) стабильна |
| Научные вычисления | Исторически уступал, теперь >50% побед | Часто ниже | Заметное усиление позиций |
| Общий вывод | Не универсальная замена | Зависит от задачи | Формирование «AI-enabled frontier» |
Почему это важно
Результаты исследования заставляют пересмотреть стратегию внедрения ИИ в научные процессы. ИИ — это не «черный ящик», который автоматически решает любую задачу лучше человека или алгоритма. Это мощный инструмент, который эффективен в специфических нишах (особенно в вычислительных задачах после 2020 года), но требует осторожности в статистическом анализе, где традиционные методы остаются надежнее и дешевле в четверти случаев.
Источник: arXiv cs.AI ↗