Проблема: Жесткие ограничения в генеративных моделях
Современные flow matching модели (аналоги диффузионных) генерируют данные, «сдвигая» шум к полезному распределению. Однако, когда требуется, чтобы результат строго соответствовал определенным правилам (hard terminal constraints) или максимизировал некую функцию полезности (reward), стандартная генерация часто дает сбои. Переобучение модели на эти требования требует дорогого дообучения (fine-tuning), что не всегда возможно или целесообразно.
Решение: ConicFlow как задача оптимального управления
Команда исследователей во главе с Шервином Халафи (Shervin Khalafi) предложила подход ConicFlow. Идея заключается в том, чтобы рассматривать выборку из модели не как пассивный процесс, а как задачу оптимального управления (optimal control problem) прямо во время инференса (inference-time).
Метод балансирует два фактора:
- Отклонение от предобученной траектории: чтобы не разрушить знания, заложенные в модель.
- Награду (reward): чтобы приблизиться к желаемому результату.
Ключевая особенность — использование управления с скользящим горизонтом (receding-horizon control). Алгоритм оптимизирует только короткое окно траектории на каждом шаге, что делает вычисления tractable (выполнимыми) в реальном времени.
Технические детали: Примо-дуальный алгоритм
Для решения последовательности подзадач используется рецидивирующий примо-дуальный алгоритм (receding-horizon primal-dual algorithm). Дуальные множители (dual multipliers) в этом процессе играют роль индикаторов сложности соблюдения каждого ограничения. Они уточняются на протяжении всего процесса генерации, направляя выборку к допустимым финальным образцам.
Также предложен вариант terminal-estimate, который оценивает награду и ограничения не в конце текущего короткого окна, а в предсказанной конечной точке. Это позволяет избежать накопления ошибок локального усечения (local truncation errors), особенно когда динамика потока меняется медленно.
Результаты и гарантии
Исследователи доказали теоретические гарантии:
- При стандартных предположениях о регулярности получены гарантии субоптимальности для конечного горизонта.
- В случае выпукло-аффинной структуры выведена более строгая оценка, линейно зависящая от длины опущенного горизонта.
Эксперименты на моделях flow matching большого масштаба (как в низкоразмерных, так и в высокоразмерных пространствах) показали, что ConicFlow достигает высокой награды и сильного соблюдения ограничений, при этом отклоняясь от предобученного потока меньше, чем недавние базовые методы.
| Характеристика | Описание в ConicFlow |
|---|---|
| Тип задачи | Оптимальное управление с ограничениями (Constrained Optimal Control) |
| Момент применения | Inference-time (во время генерации, без дообучения) |
| Метод оптимизации | Receding-horizon primal-dual algorithm |
| Ключевое преимущество | Минимальное отклонение от pretrained trajectory при соблюдении hard constraints |
| Вариант оценки | Terminal-estimate (оценка в конечной точке для снижения ошибок) |
Почему это важно
ConicFlow открывает путь к созданию более надежных генеративных систем, где критически важны безопасность и соответствие спецификациям (например, в медицине, финансах или робототехнике), без необходимости перетренировки огромных моделей. Это шаг к «управляемой» генерации, где модель не просто угадывает, а следует заданным правилам в реальном времени.
Источник: arXiv cs.AI ↗