Отказ от латентного пространства в пользу пикселей
Лаборатория Speridlabs выпустила модель Iris-3B (3 миллиарда параметров), которая работает непосредственно в пиксельном пространстве. В отличие от традиционных диффузионных моделей, использующих вариационные автоэнкодеры (VAE), Iris-3B избегает потерь информации, связанных с потерей сжатия и смещением текстур в латентном пространстве. Это позволяет модели сохранять высокую детализацию, критичную для задач, где важна точность.
Замена DINOv2 и новые бенчмарки
Ключевое достижение исследователей — демонстрация того, что генеративные модели могут выполнять функции discriminative vision models. Авторы показывают, что Iris-3B способна заменить такие модели, как DINOv2, выступая в роли универсального визуального обучателя. Это открывает путь к использованию генеративных приоритетов для плотных задач (dense tasks), где требуется понимание структуры и деталей сцены, а не просто генерация изображения.
Сравнение подходов
| Характеристика | Традиционные VAE-модели | Iris-3B (Pixel-space) |
|---|---|---|
| Пространство работы | Латентное (сжатое) | Пиксельное (оригинальное) |
| Потери информации | Высокие (артефакты, размытие) | Минимальные |
| Применимость | Генерация, классификация | Генерация + Vision Learning (замена DINOv2) |
Доступность и ресурсы
Команда опубликовала рецепты масштабирования (scaling recipes) для пиксельных моделей, что делает их воспроизводимыми для научного сообщества. Весы модели, код и примеры генерации доступны на платформе Spaces и в репозитории проекта. Исследование опубликовано на arXiv, что подтверждает его научную значимость и готовность к внедрению в индустрию.
Источник: Speridlabs ↗