Проблема односторонней генерации
Традиционные методы выравнивания дискретных диффузионных моделей (DDM) для белков часто работают как односторонний процесс: модель генерирует последовательность, влияя на токены на промежуточных этапах, но не может вернуться и исправить неудачные выборы. Это приводит к тому, что даже при наличии механизма вознаграждения (reward), модель «застревает» в субоптимальных конфигурациях, не имея возможности пересмотреть ранее выбранные аминокислотные остатки.
Решение: Spectral Feedback
Авторы (Shai Dickman, Mert Cemri, Landon Butler, Kannan Ramchandran) предложили алгоритм Spectral Feedback, который рассматривает выравнивание не как выбор меток токенов, а как выбор позиций для редактирования. Алгоритм использует маску структуры дискретной диффузии: он повторно маскирует (re-masking) и пересэмпливает токены в выбранных позициях, аналогично тому, как в генерации изображений вводятся шумные латенты для переписывания части кадра.
Ключевая инновация — использование спектрального представления (Fourier representations) для функций ценности позиций редактирования. Исследователи обнаружили, что в задачах обратного фолдинга белков взаимодействия между позициями разрежены (sparse), что позволяет эффективно обучать модель выбирать, какие именно участки последовательности требуют исправления.
Результаты и метрики
Метод является модель-агностичным (model-agnostic) и применяется на этапе тестирования (test-time alignment) без изменения весов самой генеративной модели. Эксперименты проводились с использованием оракула стабильности белков (protein stability reward oracle). Результаты демонстрируют значительный прирост эффективности по сравнению с базовыми подходами:
| Метод / Модель | Улучшение доли стабильных белков | Примечание |
|---|---|---|
| Pretrained Model (Базовая) | +32.3% | Значительный скачок за счет итеративного исправления |
| Best-of-10 (Bo10) | +24.8% | Превосходит стандартный отбор из 10 вариантов |
| RL Fine-tuned Model (SOTA) | +5.8% | Дополнительное улучшение для уже дообученной модели |
Значение для биотеха
Работа, принятая к публикации в NeurIPS 2026, закрывает важный пробел в дизайне белков. Возможность итеративно корректировать генерацию на этапе инференса позволяет получать более стабильные и функциональные белковые структуры без необходимости дорогостоящего переобучения базовых моделей. Это открывает путь к более эффективному использованию диффузионных моделей в drug discovery и синтетической биологии.
Источник: arXiv cs.AI ↗