Проблема: от знаний к действиям
Большинство существующих тестов для языковых моделей в биологии проверяют лишь запоминание фактов или выполнение изолированных шагов. Однако реальная работа в лаборатории требует end-to-end планирования: от определения научной цели до создания исполняемого протокола. Авторы работы из ArXiv (23 октября 2026 г.) представили BenchBench-Cloning — специализированный бенчмарк, оценивающий именно эту способность к комплексному экспериментальному планированию.
Структура и метрики
Бенчмарк включает 65 задач, основанных на реальных последовательностях, лабораторных журналах и опубликованных исследованиях. Задачи делятся на два типа:
- Разработка протоколов (50 задач): Агент должен создать исполняемый план для конкретной конструкции. Оценка проводится через запуск в симуляторе клонирования.
- Дизайн конструкций (15 задач): Агент определяет необходимые конструкции для научной цели. Оценка включает детерминированные проверки и оценку «LLM-as-a-judge».
Результаты тестирования
Исследователи протестировали восемь систем, выполняя по несколько попыток на каждую задачу. Несмотря на использование стратегии best-of-ten sampling, бенчмарк остается «ненасыщенным», что указывает на значительный потенциал для улучшения моделей.
| Модель / Система | Результат (Accuracy) | Примечание |
|---|---|---|
| GPT-6 Astra | 30.6% | Лучший результат среди протестированных |
| Другие модели (range) | 8.6% – 22.2% | Значительный отрыв от лидера |
Почему это важно
Результат в 30.6% для самой продвинутой модели демонстрирует, что интеграция отдельных решений клонирования в единый, валидный план остается критически сложной задачей для ИИ. BenchBench-Cloning становится важным инструментом для отслеживания прогресса в области автономного планирования экспериментов, что может ускорить разработку в синтетической биологии и фармацевтике.
Источник: arXiv cs.AI ↗