Отдельный модуль для генерации в 2K
В ходе сессии было уточнено, что H3-Regenerate-2K — это не просто апскейлер, а самостоятельный модуль, позволяющий генерировать изображения в более высоком разрешении напрямую. Команда планирует открыть исходный код этого модуля, но в данный момент работает над оптимизацией его эффективности и качества вывода. Это важное отличие от стандартных постобработок, так как архитектура заточена именно под процесс генерации.
Архитектура внимания: ближе к MoBA
Особое внимание уделили подходу к разреженной внимательности (sparse attention). Разработчики отметили, что их методика существенно отличается от стандартного MSA (Multi-Head Sparse Attention) и концептуально ближе к стилю MoBA. В ближайшее время планируется выпустить консервативную реализацию этого механизма, что может положительно сказаться на скорости инференса и качестве детализации сложных сцен.
Работа над Ref2VA и редактированием
Команда подтвердила активную работу над улучшением качества Ref2VA (Reference-to-Video/Visual Attention) и снижением размытости деталей. Также анонсирована разработка новой модели на базе H3, которая будет сочетать функции генерации изображений и их редактирования, что расширяет сценарии использования для дизайнеров и креаторов.
Ключевые технические детали
Ниже приведена сводка по заявленным направлениям развития и техническим особенностям H3:
| Компонент/Функция | Статус и особенности | Планы |
|---|---|---|
| H3-Regenerate-2K | Модуль генерации высокого разрешения (не апскейлер) | Открытие кода, оптимизация качества |
| Sparse Attention | Альтернатива MSA, стиль MoBA | Выпуск консервативной реализации |
| Ref2VA | Улучшение качества, снижение размытия | Активная доработка |
| Новая модель | Генерация + редактирование изображений | В разработке на базе H3 |
Дополнительные вопросы
В рамках AMA также обсуждались вопросы продления длительности видео, тонкости промптинга и текущие проблемы с качеством. Ответы команды указывают на то, что фокус смещается с чистого увеличения разрешения на улучшение семантической согласованности и детализации в рамках единой архитектуры.
Источник: Reddit ↗