Проблема: разрыв между вычислениями и лабораторией
Модификация белков требует навигации в колоссальном пространстве последовательностей, однако экспериментальная валидация (wet-lab) остается дорогостоящей и низкопроизводительной. Хотя Protein Language Models (PLM), Large Language Models (LLM) и агенты на их основе демонстрируют потенциал, их относительная эффективность в реалистичных сценариях принятия решений оставалась неясной. Чтобы закрыть этот пробел, команда из 18 авторов (включая исследователей из Tsinghua University и других институтов) представила PFArena.
Методология: 4 сценария и 17 моделей
PFArena — это бенчмарк, состоящий из четырех контролируемых интерфейсов задач, охватывающих генерацию одиночных мутаций и ранжирование множественных мутаций. Ключевая особенность теста — предоставление моделям разного объема данных о фитнес-значениях (fitness data), что имитирует четыре репрезентативных исследовательских сценария с различной степенью предварительного экспериментального контекста.
В исследовании оценивались модели трех семейств:
- 6 PLM (специализированные белковые языковые модели);
- 6 LLM (общие большие языковые модели);
- 5 LLM-based agents (агенты, использующие LLM как ядро).
Ключевые результаты: специализация против универсальности
Оценка с использованием дополняющих метрик (измеряющих как пиковую, так и общую производительность) выявила систематический сдвиг в эффективности моделей в зависимости от доступности целевых экспериментальных данных. PLM демонстрируют превосходство в открытой генерации одиночных мутаций, опираясь на специфические для белков априорные знания. В то же время LLM и агенты показывают сильные результаты в ранжировании множественных мутаций, особенно когда доступна целевая фитнес-данные.
| Категория модели | Сильная сторона | Условия эффективности |
|---|---|---|
| PLM (Protein Language Models) | Генерация одиночных мутаций | Использование белковых априорных знаний |
| LLM & Агенты | Ранжирование множественных мутаций | Наличие целевых фитнес-данных |
| Все семейства | — | Снижение эффективности при увеличении глубины мутаций |
Ограничения и будущее
Несмотря на успехи, все семейства моделей сталкиваются с фундаментальными проблемами при увеличении размера пространства поиска и глубины мутаций. Авторы опубликовали код и набор данных PFArena, чтобы способствовать воспроизводимым исследованиям в области модификации белков, помогаемых ИИ. Это позволяет научному сообществу стандартизировать оценку новых архитектур в критически важной области синтетической биологии.
Источник: arXiv cs.AI ↗