Команда исследователей во главе с Коушиком Хауладером (Koushik Howlader) представила архитектуру bioMoR (Biology-Guided Mixture-of-Recursions), которая решает проблему избыточных вычислений в трансформерах при работе с высокоразмерными омиксными данными. В отличие от стандартных моделей, обрабатывающих тысячи генов одинаково, bioMoR использует адаптивное маршрутизирование, позволяя модели углубленно изучать только те токены (гены или пути), которые требуют детального анализа.
Три уровня интеграции биологических знаний
Ключевое новшество bioMoR заключается в интеграции структурированных биологических данных непосредственно в backbone архитектуры Mixture-of-Recursions. Авторы выделяют три конкретных места для такой интеграции:
- Обмен информацией на основе графов: уточняет эмбеддинги токенов, учитывая их биологические связи.
- Структурное смещение (Structural Bias): направляет механизм self-attention на токены, биологически связанные между собой.
- Графовый маршрутизатор (Graph-aware Router): использует информацию о соседях для определения глубины рекурсии каждого токена, то есть того, сколько раз модель должна «прокрутить» вычисления для конкретного гена.
Результаты на восьми бенчмарках
Модель была протестирована на восьми наборах данных различных типов омиксных данных (геномика, транскриптомика и др.) в рамках унифицированного протокола пятикратной перекрестной проверки. bioMoR демонстрирует статистически значимое превосходство над сильнейшими биологически-агностичными baselines, одновременно значительно экономя ресурсы.
| Метрика | bioMoR vs. Biology-agnostic MoR | bioMoR vs. Non-recursive Transformer |
|---|---|---|
| Улучшение Macro-F1 | +8.2 п.п. | — |
| Улучшение Balanced Accuracy | +7.1 п.п. | — |
| Снижение количества параметров | — | 75% |
| Снижение вычислительных затрат (FLOPs) | — | до 58% |
Интерпретируемость как побочный эффект
Помимо точности и эффективности, bioMoR решает важную проблему «черного ящика» в биоинформатике. Модель не только выделяет маркерные гены и пути, но и показывает token-specific recursion depths — глубину рекурсии для каждого токена. Это позволяет исследователям видеть, как именно модель распределяет вычислительные ресурсы, что напрямую коррелирует с биологической значимостью выбранных элементов.
Источник: arXiv cs.AI ↗