Проблема «примерного» понимания
Существующие бенчмарки для научных AI-агентов часто ограничиваются проверкой общего понимания текста. Однако для анализа кастомизированных секвенирующих ассеев критически важно не просто «понять» протокол, а точно реконструировать молекулярные структуры и рабочие процессы (workflows). Именно этот пробел заполняет новый датасет LibStructBench.
Методология и ключевые метрики
LibStructBench — это документ-ориентированный бенчмарк, который требует от агентов извлечения детальных структурных данных из текстовых протоколов. Эксперименты показали, что даже передовые модели (frontier agents) демонстрируют серьезный разрыв между «примерно правильным» и «точно правильным» результатом. Основная проблема кроется в представлении молекулярных состояний и сложных химических преобразований.
Результаты тестирования
Ниже приведены обобщенные результаты производительности современных AI-агентов на задаче точной реконструкции:
| Модель / Агент | Тип реконструкции | Точность (Exact Match) | Ключевая проблема |
|---|---|---|---|
| Frontier Agents (SOTA) | Примерная (Approximate) | Высокая | Потеря деталей в молекулярных состояниях |
| Frontier Agents (SOTA) | Точная (Exact) | Низкая | Неспособность восстановить полный workflow |
| Базовые модели | Любая | Критически низкая | Отсутствие структурного понимания |
Почему это важно для биотеха и AI
В области геномного секвенирования ошибки в реконструкции протоколов могут привести к неверной интерпретации данных или невозможности воспроизвести эксперимент. LibStructBench устанавливает новую планку: AI-агенты должны уметь работать не только с текстом, но и с структурной химией и последовательностями операций. Это шаг к созданию автономных систем, способных самостоятельно планировать и выполнять сложные лабораторные эксперименты без человеческой микро-управленческой помощи.
Выводы исследователей
Авторы статьи подчеркивают, что текущие архитектуры LLM недостаточно адаптированы для задач, требующих строгой логической цепочки преобразований молекул. Улучшение этих показателей потребует интеграции специализированных химических представлений (например, SMILES, InChI) в процесс обучения и валидации агентов.
Источник: arXiv cs.AI ↗