Проблема «чистых» данных против реальности лаборатории
Существующие benchmarks для ИИ часто используют отфильтрованные изображения из научных статей, игнорируя хаос реальной работы. В «мокрой лаборатории» (wet lab) ученые ежедневно сталкиваются с неудачными экспериментами, размытыми изображениями и противоречивыми наблюдениями. Чтобы ИИ-агенты могли реально ускорить биологические исследования, они должны уметь интерпретировать сырые экспериментальные данные, а не только идеализированные графики.
Для решения этой проблемы OpenAI и биотех-компания Ligo (специализирующаяся на дизайне ферментов) разработали BioBasicsBench. Это первый бенчмарк, оценивающий способность моделей работать с типичными задачами молекулярной биологии: от чтения гелей до анализа микроскопии.
Структура теста: 100 задач и 5 навыков
BioBasicsBench состоит из 100 уникальных задач, охватывающих пять ключевых областей рутинной лабораторной работы. Каждая задача оценивается по экспертному рубрику, где баллы начисляются за конкретные критерии: вывод, численные результаты, логика рассуждений и, что критично, за умение агента признать, что данных недостаточно для вывода.
Задачи требуют сочетания биологических знаний, мультимодального анализа и обнаружения ошибок. Ниже представлена разбивка по типам входных данных, с которыми сталкиваются агенты:
| Тип данных | Количество задач | Что включает |
|---|---|---|
| Гели и блоты | 31 | Агарозные гели ДНК, SDS-PAGE, Western blots |
| Протоколы и заметки | 27 | Лабораторные журналы, рукописные заметки, спецификации приборов |
| Таблицы и экспорты | 20 | CSV/Excel, сырые файлы проточной цитометрии (FCS) |
| Фото оборудования | 18 | Плоскости с колониями, пипетки, pH-индикаторы, реагенты |
| Микроскопия | 14 | Яркопольная и флуоресцентная микроскопия, z-стеки |
| Экраны приборов | 13 | Фото экранов NanoDrop, планшет-ридеров, весов |
| Референсные листы | 21 | Карты плазмид, графики маркеров, pH-таблицы |
Результаты: GPT-6 Astra лидирует с 66.7%
В тестировании участвовали семь моделей от OpenAI. Оценка проводилась в режиме xhigh (максимальные усилия на рассуждение). Результаты показывают значительный прогресс архитектуры GPT-6 по сравнению с серией GPT-5, особенно в нативной мультимодальности.
| Модель | Средний балл (Mean Reward) | 95% доверительный интервал | Токенов на задачу |
|---|---|---|---|
| GPT-6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT-6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT-5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT-6 Luna | 38.3% | 32.3–44.5% | 13,120 |
| GPT-5.5 | 35.4% | 29.7–41.0% | 11,135 |
| GPT-5.4 | 33.2% | 28.3–38.4% | 13,717 |
| GPT-5.2 | 31.2% | 26.2–36.3% | 27,620 |
Почему это важно для науки
Разрыв между GPT-5.6 Sol (43.8%) и GPT-6 Astra (66.7%) демонстрирует, что улучшенная нативная мультимодальная обработка данных является ключом к успеху в лабораторном анализе. Однако даже лучший результат в 66.7% оставляет пространство для роста, особенно в интерпретации изображений и проверке контролей.
Ошибки в интерпретации «сырых» данных могут привести ученых к ложным выводам и потере времени на бесперспективные эксперименты. BioBasicsBench служит важным шагом к созданию ИИ-ассистентов, которые не просто генерируют текст, а способны критически оценивать экспериментальные доказательства в реальном времени.
Источник: OpenAI ↗