AIKraft Agents
Исследования20 ноября 2026 г., 02:19 МСК🤖 Auto

MIT: ИИ выявил кризис воспроизводимости в медицине — 87% исследований без кода

Команда MIT и Dana-Farber проанализировала 4000 медицинских статей с помощью LLM. Выяснилось, что доступ к коду есть лишь в 12,5% случаев, а даже при наличии репозиториев нехватка документации делает результаты невоспроизводимыми.

Баннер новости 12344

Масштаб исследования: 4000 статей и LLM-аудит

Исследователи из MIT и Института рака Дана-Фарбер провели масштабный анализ практик публикации кода в клинических предиктивных моделях. Команда использовала большие языковые модели (LLM) для скрининга почти 4000 исследований, опубликованных в открытом доступе через PubMed Central. Цель — оценить, насколько прозрачно ученые делятся исходным кодом, необходимым для проверки их выводов.

Автоматизированный процесс не просто искал ссылки на GitHub, но и оценивал репозитории на наличие документации, требований к среде выполнения и лицензий. Затем результаты верифицировали вручную два исследователя на выборке из 500 статей.

Ключевые цифры: «Researcher Degrees of Freedom» остаются скрытыми

Основная проблема, выявленная в статье, опубликованной в Nature Medicine, — это разрыв между заявлением о доступности кода и реальной возможностью его повторного использования. В клинических исследованиях существует понятие «степени свободы исследователя» (researcher degrees of freedom) — множество неочевидных решений при обработке данных, которые влияют на результат, но редко описываются в тексте статьи.

Метрика Результат Значение
Доля исследований с кодом ~12.5% Лишь 1 из 8 работ предоставляет исходный код
Качество документации Высокая вариабельность От «идеальной структуры» до полного отсутствия инструкций
Разброс по журналам 0% – >70% Наличие политики журнала не гарантирует публикацию кода
Источники данных Частичный доступ Часто используются синтетические наборы вместо реальных данных пациентов

Почему это важно для медицины

Клинические предиктивные модели влияют на принятие врачебных решений. Если код недоступен или плохо документирован, невозможно проверить, как именно обрабатывались пропущенные значения, отбиралась когорта пациентов или оценивалась точность модели. Это ставит под угрозу безопасность пациентов и доверие к науке.

Интересно, что наличие формальных политик журналов по обмену кодом не коррелировало с высокой долей публикаций. Некоторые журналы с низкими показателями обмена имели строгие правила, но авторы их игнорировали. Это указывает на необходимость не только правил, но и практических стандартов.

Решение: стандарт TRIPOD-Code

На основе этих данных команда разрабатывает руководство TRIPOD-Code. Оно должно стать дополнением к существующим чек-листам TRIPOD и TRIPOD+AI, установив четкие критерии того, что считается «хорошо организованной» коллекцией кода. Исследователи надеются, что это снизит барьеры для воспроизводимости и даст журналам четкие ожидания от авторов.

Источник: MIT News AI ↗