Интеграция LLM в граф ComfyUI
Разработчик BobbtheBuilder представил плагин ComfyUI Assistant, который внедряет плавающий чат-интерфейс непосредственно в редактор графов ComfyUI. Инструмент позволяет не только консультироваться по поводу текущих workflow, но и активно редактировать их: добавлять или удалять узлы, соединять связи, менять значения виджетов и перемещать элементы. Все изменения применяются пакетно через функцию apply_workflow_edits, что сохраняет историю действий для отмены через Ctrl+Z.
Локальная база знаний и семантический поиск
Ключевая особенность ассистента — встроенная локальная база знаний на базе SQLite. Она автоматически индексирует официальную документацию ComfyUI, репозитории узлов, примеры workflow и схемы нод. Поиск работает по гибридной модели: комбинация полнотекстового поиска (FTS5) и семантического поиска через эмбеддинги (поддерживаются LM Studio, Ollama и OpenAI-compatible API). Индекс строится в фоне при первом запуске (загружается ~9 МБ данных) и обновляется инкрементально.
Визуальное понимание и память
Ассистент обладает «зрением»: он анализирует входные изображения и результаты генерации, автоматически прикрепляя их к контексту, если пользователь упоминает картинки. Изображения сжимаются (макс. 1024 px, JPEG q0.85) перед отправкой. Кроме того, система запоминает исправления и предпочтения пользователя между сессиями, автоматически подхватывая релевантные уроки из памяти.
Технические детали и поддержка провайдеров
Плагин поддерживает несколько бэкендов для LLM. На данный момент полноценно протестирована интеграция с LM Studio. Поддержка Ollama, OpenAI-compatible и Anthropic реализована, но находится в статусе «не протестировано» (untested). Ассистент умеет управлять контекстным окном, суммируя старые сообщения при переполнении, и может отключать локальные модели для освобождения VRAM при запуске workflow.
| Провайдер | Статус | Особенности |
|---|---|---|
| LM Studio | ✅ Протестировано | Список моделей, стриминг, нативный вызов инструментов, vision, управление контекстом. |
| Ollama | ⚠️ Не протестировано | Использует OpenAI-compatible endpoint /v1; vision/контекст через /api/show. |
| OpenAI-compatible | ⚠️ Не протестировано | Любой сервер, exposing /chat/completions и /models. |
| Anthropic | ⚠️ Не протестировано | Messages API с tool use и image blocks. |
Установка и требования
Для работы требуется ComfyUI на Python 3.10+ и наличие git в PATH. Установка возможна вручную через клонирование репозитория в папку custom_nodes или через ComfyUI-Manager. Дополнительные Python-зависимости не требуются, так как плагин использует встроенную библиотеку aiohttp. Для веб-поиска новых нод опционально можно подключить API ключи Tavily, Brave или SerpAPI.
Источник: Github ↗