Проблема вычислительной сложности в дискретной диффузии
Дискретная диффузия (Discrete Diffusion) позволяет настраивать модели под конкретные задачи (alignment) во время тестирования, используя guidance. Однако применение Sequential Monte Carlo (SMC) guidance на каждом шаге денормализации (denoising) требует огромных вычислительных ресурсов. Это связано с необходимостью дополнительных оценок награды (reward evaluations) и вычисления градиентов ценности (value-gradient computations).
Существующие методы «редкого guidance» (sparse guidance) пытаются решить эту проблему, направляя модель только на подмножестве временных шагов. Но они используют фиксированные эвристики, эффективность которых сильно варьируется от задачи к задаче.
Решение: VISTA (Value-Informed Schedule Trimming)
Авторы — Джейхён Ким, Зисок Ли, Сиён Чхве и Кёнсу Ким — предложили метод VISTA. Это training-free (не требующий дообучения) подход, который автоматически выбирает оптимальные временные шаги для guidance в рамках заданного бюджета вычислений.
Ключевые особенности VISTA:
- Формализация: Метод рассматривает редкое guidance как аппроксимацию идеального полного guidance и выводит оцениваемую верхнюю границу отклонения пути ($\ell_1$ path deviation).
- Оптимизация: Используя статистику ценности, собранную с небольшого числа «разогревающих» (warmup) генераций, VISTA точно оптимизирует эмпирический суррогатный функционал с помощью динамического программирования.
- Эффективность: Разогревающие генерации можно использовать как часть вывода модели. После выбора расписания сложность guidance на одну генерацию становится такой же, как у других методов с тем же бюджетом.
Результаты и бенчмарки
VISTA обнаруживает зависящие от задачи расписания и превосходит вручную разработанные sparse-расписания в большинстве протестированных настроек, приближаясь или превышая производительность полного guidance по нескольким метрикам. Особенно впечатляющие результаты показаны в задаче генерации токсичного текста.
| Метрика / Параметр | Полное Guidance (Full) | VISTA (Proposed) | Эффект |
|---|---|---|---|
| Unique-toxic ratio (Токсичный текст) | 1.00 | 0.99 | Практически идентичное качество |
| Задержка на генерацию (Latency) | 204.23 с | 38.16 с | Ускорение в 5.35x |
| Требования к обучению | — | Training-free | Не требует дообучения модели |
Значение для индустрии
Метод VISTA демонстрирует, что можно значительно сократить затраты на инференс сложных дискретных диффузионных моделей, не жертвуя качеством результата и не тратя время на переобучение. Это открывает путь к более быстрому применению guidance в генерации текстов, биологических последовательностей и изображений.
Источник: arXiv cs.AI ↗