Проблема многомерных данных
В машинном обучении и науке часто стоит задача восстановить распределение данных по конечной выборке. Для этого необходимо оценить две величины: плотность (вероятность нахождения в точке) и счёт (score) — градиент логарифма плотности. Счёт критически важен для диффузионных моделей (Stable Diffusion, DALL-E), байесовского вывода и моделирования плазмы. Традиционные методы, такие как Kernel Density Estimation (KDE), теряют точность с ростом размерности, а нейросетевые модели требуют переобучения под каждую новую задачу.
Архитектура DiScoFormer
DiScoFormer (Density and Score Transformer) от Allen Institute for AI (Allen AI) решает эту проблему, используя один трансформер для оценки обеих величин. Модель строится на стеке трансформерных блоков с механизмом cross-attention. Ключевая особенность — общий бэкбон и две выходные головы (для плотности и счёра). Поскольку счёт является градиентом логарифма плотности, модель использует label-free consistency loss: на этапе инференса можно выполнить несколько шагов градиентного спуска по этому ограничению, чтобы адаптировать модель к новым данным «на лету» без переобучения.
Почему трансформеры лучше KDE?
Авторы показывают, что attention-механизм является строгим обобщением KDE. Один блок cross-attention с весами, близкими к гауссовскому ядру, уже способен воспроизводить оценку плотности KDE. Однако DiScoFormer учится использовать несколько масштабов влияния одновременно, адаптируясь к данным, что позволяет преодолеть ограничения фиксированной полосы пропускания (bandwidth) в классическом KDE.
Результаты и бенчмарки
Модель обучалась на сгенерированных гауссовых смесях (Gaussian Mixture Models), которые служат универсальными аппроксиматорами любых гладких распределений. В сравнении с лучшим вручную настроенным KDE, DiScoFormer демонстрирует прорывные результаты в высокоразмерных пространствах:
| Метрика | Условие | Результат (DiScoFormer vs KDE) |
|---|---|---|
| Ошибка счёра (Score Error) | 100 измерений | Снижение в ~6.5 раза |
| Ошибка плотности (Density Error) | 100 измерений | Снижение более чем в 37 раз |
| Обобщение | Нестандартные распределения | Высокая точность на Laplace и Student-t |
При этом KDE сохраняет преимущество в скорости на малых наборах данных, но DiScoFormer масштабируется лучше, так как не упирается в ограничения памяти при увеличении выборки.
Значение для индустрии
DiScoFormer предлагает готовый плагин-оценщик, который не требует переобучения под каждую новую задачу. Это может существенно сократить вычислительные затраты в генеративном моделировании, байесовском выводе и научных симуляциях, где требуется точная оценка счёра в высокоразмерных пространствах.
Источник: Hugging Face blog ↗