AIKraft/AI/Поиск…⌘KВойти
Инструменты20 августа 2026 г., 19:47 МСК🤖 Auto

Muse V2: Локальный LLM-чат в ComfyUI с поддержкой видео и аудио

Вышла версия 2.0 узла ComfyUI-Muse, интегрирующая многопоточный чат с локальными LLM прямо в граф. Теперь поддерживается загрузка моделей без сторонних серверов, а также прикрепление аудио и видео.

AIРедакция AIKraftавто-обзор источников
2 мин чтения·источник: Github
Поделиться
Баннер новости 6176

Прямая загрузка моделей и отказ от LM Studio

Главное нововведение Muse V2 — встроенный Direct model loader. Теперь для работы с локальными GGUF-моделями больше не требуется запускать отдельные серверы вроде LM Studio или Ollama. При первом использовании узел автоматически скачивает бинарный файл llama-server и запускает модель напрямую с диска. Это упрощает установку до копирования папки в custom_nodes и снижает потребление ресурсов за счет отсутствия лишних процессов.

Мультимодальность: Видео и Аудио

Версия 2.0 расширяет возможности работы с медиафайлами, что критично для создания промптов на основе контента:

  • Видео: Поддержка моделей с видео-анализом (например, Qwen3-VL). Видео нарезается на кадры с настраиваемым FPS (по умолчанию 1 кадр/сек, макс. 24 кадра) с сохранением временных меток. Требуется установка opencv-python.
  • Аудио: Прикрепление аудиофайлов для моделей, поддерживающих аудио-ввод (Qwen2.5-Omni, Ultravox, Voxtral). Файлы передаются в исходном виде (base64), без перекодирования на стороне сервера.

Умное управление VRAM

Разработчики внедрили двухстороннюю координацию видеопамяти, чтобы LLM и граф ComfyUI не конфликтовали:

  1. Free ComfyUI VRAM: Перед отправкой запроса в LLM ComfyUI автоматически выгружает свои модели и очищает кэш.
  2. Unload on Run: При нажатии кнопки Run в ComfyUI, узел Muse сначала выгружает модель чата и подтверждает освобождение памяти через опрос бэкенда, прежде чем запускать рендеринг.

Новые функции интерфейса и работы с контекстом

Интерфейс получил ряд инструментов для эффективного промпт-инжиниринга:

  • Chat Branching: Возможность создать ветку диалога от любого сообщения, а не только последнего, что позволяет исследовать альтернативные идеи без потери контекста.
  • Edit & Resend: Редактирование отправленных сообщений с автоматической пересылкой и регенерацией ответа.
  • Guide Materials: Прикрепление файлов (.txt, .md, .json) из папки input для формирования системного промпта. Изменения в файлах подхватываются автоматически.
  • Thinking Block: Поддержка моделей с цепочкой рассуждений (reasoning models), где блок ... отображается как сворачиваемый «Thinking».

Технические детали и совместимость

Узел поддерживает три бэкенда: LM Studio (localhost:1234), Ollama (localhost:11434) и Direct Loader. Чаты сохраняются в JSON-файлы в папке comfyui-muse/chats/, что позволяет легко бэкапить сессии. Интерфейс выполнен в стиле frosted-glass с возможностью смены акцентного цвета. Узел не имеет графических входов/выходов — работа строится через копирование/вставку текста в граф.

Источник: Github ↗