Knowledge-Centric Agents: LLM для генерации ComfyUI-пайплайнов

Проблема прямого текстового преобразования

Генерация рабочих процессов (workflows) в системах визуального создания, таких как ComfyUI, требует не только синтаксической точности, но и экспертного рассуждения о модульных композициях. Существующие подходы на базе больших языковых моделей (LLM) часто трактуют эту задачу как прямое преобразование текста в JSON. Это приводит к структурной хрупкости и отсутствию опыта, необходимого для эффективного дизайна сложных пайплайнов.

Решение: Knowledge-Centric Agents (KCA)

Авторы предлагают фреймворк, который учится моделировать само знание, включая его структуру, иерархию и динамику рассуждений. Методология включает три ключевых этапа:

• Инверсия знаний (Knowledge Inversion): Дистилляция иерархических представлений из реальных рабочих процессов. Модель учится выделять псевдокод, скелеты и высокоуровневые стратегии.
• Инъекция знаний (Knowledge Injection): Обучение модели через Supervised Fine-Tuning (SFT). Модель учится рассуждать от описания задачи к стратегии, а от стратегии — к исполняемой структуре.
• Обратимое рассуждение (Reversible Reasoning): На этапе инференса модель синтезирует исполняемые рабочие процессы, дополненные самосовершенствованием (self-refinement) для обеспечения структурной целостности.

Результаты и метрики

Экстенсивные эксперименты показали, что предложенный метод превосходит существующие системы по трем ключевым параметрам. Ниже приведено сравнение характеристик подходов:

Значение для индустрии

Работа принята к публикации на конференции ECCV 2026. Представленный подход закладывает новую основу для агентной генерации рабочих процессов, основанной на знаниях, что критически важно для автоматизации сложных задач в компьютерном зрении и генеративном искусстве.

Источник: arXiv cs.AI ↗