nunchux-ai/nunchaku

Что это за инструмент

Nunchaku — это высокопроизводительный движок инференса, оптимизированный для 4-битных нейросетей на основе метода SVDQuant, позволяющего эффективно сжимать diffusion-модели без потери качества.

Зачем нужен

Инструмент решает проблему высоких требований к VRAM при запуске современных больших моделей, таких как FLUX и Qwen-Image, снижая потребление памяти до 3 GiB за счет асинхронного offloading. Он полезен для ускорения генерации изображений и редактирования контента на потребительском оборудовании, обеспечивая прирост производительности до 30% для новых архитектур.

Что можно реализовать

• Локальный запуск и генерация изображений с помощью моделей FLUX.1 (включая Krea-dev и Kontext) на GPU с ограниченным объемом памяти.
• Редактирование изображений с использованием 4-битных версий Qwen-Image и Qwen-Image-Edit-2509, включая ускоренные lightning-версии.
• Интеграция квантованных моделей в рабочие процессы ComfyUI с поддержкой нативных нод и LoRA.
• Запуск сложных пайплайнов с ControlNet-Union-Pro 2.0 и PuLID на ресурсах с низким потреблением VRAM.

Ключевые возможности

• Метод SVDQuant (ICLR2025 Spotlight) для поглоления аутлайеров низкоранговыми компонентами, обеспечивающий стабильное 4-битное квантование.
• Экстремально низкое потребление VRAM: поддержка асинхронного offloading позволяет запускать модели с потреблением всего 3 GiB.
• Поддержка широкого спектра архитектур: FLUX.1, Qwen-Image, Tongyi-MAI/Z-Image-Turbo, а также интеграция с ComfyUI 0.7.
• Оптимизация производительности: прирост скорости до 20–30% для Z-Image и поддержка INT4 для GPU 20-й серии.

👤 Кому подойдёт: разработчики, исследователи и энтузиасты локального AI, работающие с diffusion-моделями на ограниченном железе