Если вы работаете в сфере визуальных эффектов и хотите вывести процессы создания изображений на новый уровень, то ComfyUI — это то, что вам нужно. Его узловой подход, модульность и мощь, которую добавляет FLUX Это делает его идеальной средой для изучения всего: от высококачественного text2img до сложных конвейеров с обучением ControlNet, IP-Adapter или LoRA. ComfyUI для VFX: объяснение установки и рабочих процессов FLUX.
В этом руководстве вы найдете все необходимое в организованном виде: что такое рабочий процесс в ComfyUI, как его сохранить и поделиться, как установить FLUX шаг за шагом, какое оборудование вам необходимо, а также четкое объяснение наиболее используемых потоков (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter и скрытое масштабирование). Вы также увидите альтернативы, такие как FP8, NF4 или GGUF, для уменьшения объема видеопамяти.Ресурсы по использованию Flux в облаке и оптимизированная для Windows установка ComfyUI с практическими советами.
Что такое рабочий процесс в ComfyUI?
Рабочий процесс — это визуальное представление процесса генерации, который вы создаете путем объединения узлов. Вы можете представить это как игровое поле с деталями типа Lego.Каждый узел выполняет функцию (загрузку моделей, кодирование текста, выборку, декодирование и т. д.), а соединения описывают путь, по которому проходит информация до получения конечного изображения.
Экосистема огромна: неподвижное изображение, видео, аудио и даже 3D Они сосуществуют благодаря сообществу разработчиков ПО с открытым исходным кодом. Недостатком является необходимость обучения, поскольку важно понимать, что делает каждый компонент и как эффективно их комбинировать, чтобы избежать узких мест и нестабильных результатов.
Чтобы быстро приступить к работе, лучше всего рассмотреть официальные и базовые потоки (text2img и img2img), а затем перейти к более сложным узлам. Документация сообщества и официальные примеры ComfyUI Они часто обновляются, поэтому можно легко возобновить или просмотреть рабочие процессы, которые изменяются в новых версиях.
Важная деталь: ComfyUI может встраивать рабочий процесс в само конечное изображение (PNG) в качестве метаданных. Это позволяет вам поделиться только изображением и получить весь график. перетаскивая его обратно в интерфейс.
Как учиться и совершенствоваться с помощью рабочих процессов
Мой совет — начать с простых примеров, опубликованных в вики-ресурсах и галереях сообщества. Логическая последовательность: Txt2Img, Img2Img, а затем ControlNet или LoRA.По мере того, как вы будете понимать входы, выходы и то, как планировщики влияют на выборку, для вас станет естественным включать направляющие узлы, маски и дополнительные условия.
Если вы хотите увидеть различные топологии, существуют репозитории публичных потоков и страницы с воспроизводимыми примерами, откуда можно загрузить изображения с метаданными или .json-файлы. Хорошей практикой является импорт, запуск «как есть», а затем итерация параметров. чтобы понять влияние каждого блока, не разрушая целое.
На облачных платформах вы также найдете предварительно настроенные среды для запуска конвейеров без проблем с локальными зависимостями. Преимущество в том, что они предварительно загружают тяжелые узлы и модели.Однако рекомендуется проверить доступные версии и объем видеопамяти, чтобы убедиться, что результаты соответствуют ожиданиям.
Сохранение, импорт и экспорт рабочих процессов в ComfyUI
ComfyUI поддерживает два основных метода сохранения: изображение с метаданными (PNG) или файл JSON Графика. Первый вариант наиболее удобен для публикации на форумах; второй даёт явный контроль над файлом, что полезно для управления версиями.
Для импорта просто перетащите файл PNG или Json в интерфейс или используйте сочетание клавиш Ctrl (Command) + O. Для экспорта вы можете сохранить сгенерированное изображение или воспользоваться меню «Экспорт» для JSON.Будьте осторожны при сжатии или передаче изображений: некоторые методы сжатия и определенные каналы удаляют метаданные, что может привести к потере встроенного рабочего процесса.
Благодаря постоянному развитию ComfyUI, Не все старые файлы JSON работают в новых версиях.Если что-то пойдет не так, откройте поток, замените устаревшие узлы или переустановите зависимости на совместимую версию; использование ComfyUI-Manager значительно ускоряет обнаружение и устранение недостающих компонентов.
FLUX в ComfyUI: что это такое и почему это важно
FLUX.1 — это семейство моделей от Black Forest Labs, ориентированное на высококачественное преобразование текста в изображения. Его гибридная архитектура содержит около 12 миллиардов параметров. Он оптимизирован для быстрого срабатывания, обработки сложных сцен и создания разборчивого текста на изображении — задачи, с которой другие модели часто не справляются.
Еще одно преимущество: универсальность. От фотореализма к художественным стилямFLUX.1 выделяется визуальной согласованностью и детализацией, включая рендеринг рук — классическое слабое место генеративной графики. Неудивительно, что его сравнивают с такими решениями, как Stable Diffusion или Midjourney, и он превосходит их по удобству использования и качеству.
Black Forest Labs была основана Робином Ромбахом, ключевой фигурой, работавшей над ядром Stability AI. Если вы хотите увидеть это своими глазами, его официальный сайт находится по адресу blackforestlabs.ai.
FLUX.1 распространяется в трех вариантах: Про, Дев и ШнеллPro обеспечивает высочайшее качество для профессиональных сред; Dev разработан для некоммерческого использования с превосходным балансом; Schnell фокусируется на скорости и легкости и имеет открытый исходный код под лицензией Apache 2.0.
Требования к оборудованию в зависимости от версии FLUX
Для FLUX.1 Pro рекомендуется Графический процессор типа NVIDIA RTX 4090 с 24 ГБ видеопамяти32 ГБ оперативной памяти и быстрый SSD. Для предотвращения «из коробки» используется кодировка FP16, а для максимального качества лучше использовать текстовый кодировщик в FP16.
В FLUX.1 Dev, a RTX 3080/3090 с 16 ГБ видеопамяти Он отлично работает с 16 ГБ оперативной памяти и примерно 25 ГБ дискового пространства. Поддерживает FP16 и даже FP8 в некоторых случаях, в зависимости от вашей видеокарты.
Для FLUX.1 Шнелл, RTX 3060/4060 с 12 ГБ видеопамяти 8 ГБ оперативной памяти и 15 ГБ встроенной памяти достаточно. Он разработан для скорости, но при этом немного уступает в производительности версиям Pro/Dev.
Если у вас мало памяти, сообщество предлагает альтернативы, такие как FP8, NF4 или GGUF, которые Они значительно сокращают необходимый объем видеопамяти, с конфигурациями от 6 до 12 ГБ в зависимости от потока.
Установка FLUX на ComfyUI: основные шаги
Прежде всего, убедитесь, что вы используете последняя версия ComfyUIДля интеграции FLUX требуются узлы и функции, которые часто обновляются.
Загрузите текст и CLIP-кодеры: clip_l.safetensors и один из файлов T5 XXL: t5xxl_fp16.safetensors (если у вас много видеопамяти/ОЗУ) или t5xxl_fp8_e4m3fn.safetensors (если у вас ограниченный бюджет). Поместите их в папку ComfyUI/models/clip/. Если вы использовали SD3 Medium, возможно, эти файлы у вас уже есть..
VAE: скачать ae.safetensors и переместите его в ComfyUI/models/vae/. Переименуйте его в flux_ae.safetensors, чтобы его было легче найти. Этот VAE улучшает окончательное декодирование и это ключ к качеству.
UNET: выбирайте между flux1-dev.safetensors или flux1-schnell.safetensors по вашей памяти и поместите его в ComfyUI/models/unet/. Благодаря этому у вас есть основа для запуска потоков FLUX. местный.
Практическое руководство по рабочим процессам FLUX в ComfyUI
Txt2Img с FLUX
Начните с загрузки компонентов: UNETLoader, DualCLIPLoader и VAELoaderУзел CLIPTextEncode кодирует вашу подсказку; EmptyLatentImage создает начальное скрытое изображение; BasicGuider руководит процессом, объединяя условную логику с UNET FLUX.
Выберите сэмплер с KSamplerSelectОн генерирует шум с помощью RandomNoise и определяет сигма-линию с помощью BasicScheduler. SamplerCustomAdvanced объединяет всё: шум, направляющую волну, сэмплер, сигмы и латентные фазы. Наконец, VAEDecode преобразует скрытый сигнал в изображение. и с помощью SaveImage вы сохраняете результат.
Img2Img с FLUX
Конвейер добавляет начальное изображение: LoadImage + ImageScale Размер корректируется, и VAEEncode делает его скрытым. Подсказка кодируется с помощью CLIPTextEncode, а её интенсивность корректируется с помощью FluxGuidance. ModelSamplingFlux управляет изменением расстояния и размеровKSamplerSelect, RandomNoise и BasicScheduler управляют сэмплированием. SamplerCustomAdvanced объединяет условный оператор с входным латентом, а VAEDecode формирует выходной сигнал.
LoRA с FLUX
Чтобы улучшить стиль или характеристики, добавьте LoraLoaderModelOnly а также UNETLoader, DualCLIPLoader и VAELoader. После кодирования текста и применения FluxGuidance создаётся скрытое изображение с помощью EmptyLatentImage, определяется сэмплирование с помощью ModelSamplingFlux и запускается SamplerCustomAdvanced. С VAEDecode вы получаете изображение, уже обработанное LoRA. Типичный пример: realism_lora.safetensors на flux1-dev.
ControlNet с FLUX
Два очень полезных случая для визуальных эффектов: глубина и чёткие границы. Для глубины предобрабатывайте с помощью MiDaS-DepthMapPreprocessorЗагрузите сеть ControlNet и примените её с помощью ApplyFluxControlNet. Используйте XlabsSampler для генерации условной скрытой формы сигнала, а затем VAEDecode создает изображение.
Для Кэнни используйте CannyEdgePreprocessor, загрузите Canny ControlNet и повторите схему: ApplyFluxControlNet → XlabsSampler → VAEDecode. Этот дополнительный контроль обеспечивает точность формы и композиции..
Закрашивание с помощью FLUX
Загрузите UNET, VAE и CLIP и подготовьте положительные и отрицательные подсказки. LoadAndResizeImage выводит изображение и маскуПереход сглаживается с помощью ImpactGaussianBlurMask. InpaintModelConditioning объединяет кондиционирование, обработку изображения и маску. После настройки сэмплера, шума и сигм SamplerCustomAdvanced реконструирует замаскированную область. VAEDecode последовательно интегрирует патч с остальными.
ПОТОК NF4
При квантовании NF4 память сокращается. Загрузите компоненты с помощью CheckpointLoaderNF4 и определяет высоту/ширину с помощью примитивных узлов. ModelSamplingFlux задаёт параметры; EmptySD3LatentImage создаёт скрытое изображение; BasicScheduler и RandomNoise организуют шумоподавление. SamplerCustomAdvanced генерирует скрытый сигнал, а VAEDecode преобразует его в изображение.Для масштабирования UltimateSDUpscale вместе с UpscaleModelLoader и дополнительным положительным приглашением имеют решающее значение.
IPadapter с FLUX
Если вы хотите использовать эталонное изображение, используйте LoadFluxIPAdapter и ApplyFluxIPAdapter Вместе с clip_vision_l.safetensors. Масштабируйте эталонное изображение с помощью ImageScale, подготовьте подсказки и запустите XlabsSampler. С помощью VAEDecode вы увидите, как на результат влияют эстетика и функции. из путеводного изображения.
Тренажер LoRA для FLUX
Для обучения LoRA непосредственно в ComfyUI рабочий процесс включает в себя: FluxTrainModelSelect, OptimizerConfig и TrainDatasetGeneralConfigInitFluxLoRATraining инициализируется, FluxTrainLoop выполняет шаги, а FluxTrainValidate генерирует периодические проверки.
С VisualizeLoss вы отслеживаете потери; ImageBatchMulti и ImageConcatFromBatch Они группируют валидации; FluxTrainSave сохраняет контрольные точки, а FluxTrainEnd завершает процесс. При желании вы можете загрузить результат в Hugging Face с помощью UploadToHuggingFace и поделиться им.
Flux Latent Upscaler
Для детального масштабирования укажите размер с помощью SDXLEmptyLatentSizePicker+ и сцепляет LatentUpscale и LatentCrop. Используя маски, созданные SolidMask и FeatherMask, LatentCompositeMasked смешивает масштабированный скрытый материал с исходным. InjectLatentNoise+ улучшает детализацию перед VAEDecodeА завершает процесс обработка с помощью ImageSmartSharpen+. Вычислительные узлы, такие как SimpleMath+, помогают выровнять пропорции.
Альтернативные версии: FP8, NF4 и GGUF для уменьшения объема видеопамяти
Если у вас мало ресурсов, у вас есть варианты. Контрольные точки FP8 от Comfy.org и авторов вроде Киджаи. позволяют использовать FLUX с одним файлом в ComfyUI/models/checkpoints/. Рекомендуется переименовать или разделить по папкам, чтобы различать варианты dev и schnell.
С NF4 (bitsandbytes) установите плагин ComfyUI_bitsandbytes_NF4 и использовать flux1-dev-bnb-nf4-v2 В моделях/контрольных точках. Эта версия улучшена по сравнению с первой итерацией.
Квантование GGUF от City96 вместе с плагином ComfyUI-GGUFеще больше снижает планку: Загрузите модель FLUX GGUF, кодер t5-v1_1-xxl-encoder-ggufФайлы `clip_l.safetensors` и `ae.safetensors` следует разместить в соответствующих папках. Удобные варианты использования с 6 ГБ видеопамяти.
Использование FLUX.1 в облаке и других ресурсах
Если вы предпочитаете ничего не устанавливать, вы можете попробовать FLUX Пространства для объятий: FLUX.1-dev y FLUX.1-шнелль, Также в копировать, Mystic.ai o фал.ай. Это полезные параметры для проверки запросов и конфигураций. перед загрузкой локальных моделей.
Для вдохновения и готовых рабочих процессов посетите официальные примеры ComfyUI и галереи рабочих процессов, такие как ОпенАрт. Помните, что многие изображения содержат метаданные.поэтому вы можете перетащить их в ComfyUI для получения графика.
Больше материалов: коллекции LoRA для FLUX в качестве РеализмЛора или компиляции в XLabs-AIControlNet для FLUX как Коллекции y Союз; IP-адаптер en XLabs-AIЧтобы обучить LoRA с низким уровнем видеопамяти, попробуйте Fluxgym или тренажер Replicate от Ostris; Есть руководство DreamBooth для разработки FLUX.1 в репозитории диффузоров.
Установите ComfyUI на Windows 11 и получите стабильную производительность
Если вы предпочитаете чистую установку, это проверенный способ. Очень хорошо работает с картами NVIDIA серий 40/50. и это поможет вам избежать типичных ошибок.
1) Установите приложение NVIDIA и драйвер Studio с сайта nvidia.com. Перезагрузите. 2) CUDA Toolkit из developer.nvidia.com (необязательно, но полезно, чтобы избежать оповещений Triton, если вы не используете venv). 3) ffmpeg В репозитории BtbN добавьте C:\ffmpeg\bin в переменную Path. 4) Git для Windows из git-scm.com5) Python 3.12 x64 из python.org, с загрузчиком py для всех пользователей и добавлением в переменные среды.
5.5) Если вы выбрали venv, создайте его с помощью python -m venv CUVenv и активируйте его с помощью CUVenv\Scripts\activate.bat. После этого выполните все необходимые команды pip или git в venv. Ваш скрипт запуска может активировать среду и запустить ComfyUI за один присест
6) Клонируйте ComfyUI с помощью git клон https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Перейдите в D:\CU и запустите pip install -r requirements.txt. 8) Если pip выдает предупреждение о скриптах за пределами указанного пути, добавьте путь к скриптам Python в системные переменные и перезапустите систему. 9) Установите PyTorch CUDA 12.8 Установите Torch с помощью команды `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Если что-то не так, удалите Torch и установите его заново, используя ту же команду.
9 бис) Запустите ComfyUI с помощью основной файл Python и откройте 127.0.0.1:8188. 10) Установите Triton для Windows с помощью pip install -U triton-windows. 11) Ускорьте внимание с помощью Sage Attention 2.2: Загрузите совместимое колесо CU128/Torch2.8 для CP312, установите его с помощью pip и запустите ComfyUI с флагом --use-sage-attention.
12) Установите ComfyUI-Manager: в ComfyUI/custom_nodes запустите git clone https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Создайте загрузочный .bat-файл со строками: cd D:\CU и python main.py –use-sage-attention. При первом запуске Manager потребуется некоторое время.; проверьте, что вкладка «Менеджер» отображается в интерфейсе.
14) Поместите шаблоны в правильные папки (checkpoints, clip, unet, vae) и откройте ваши потоки. Если рабочий процесс имеет собственный узел Sage, вы можете пропустить его, если вы уже начинаете с флагаСоветы: не открывайте ресурсоёмкие программы, настройте виртуальную память Windows, если её мало, и ознакомьтесь с обсуждениями производительности в репозитории ComfyUI. Если вы получаете предупреждения о нехватке памяти, рассмотрите возможность использования однофайлового варианта FP8.
Если вы предпочитаете загружаемое руководство, полезный PDF-файл доступен по адресу ссылку. Некоторые руководства были пересмотрены для упрощения установки и предложенияПри использовании venv не забывайте всегда запускать pip и git внутри среды.
Советы по использованию, совместимость и передовой опыт
Импортируйте потоки, перетаскивая PNG-файлы с метаданными или JSON, и проверяйте версии узлов с помощью Manager. При обмене изображениями избегайте сжатия, приводящего к удалению метаданных.Если JSON неисправен, в более новой версии замените устаревшие узлы или установите совместимые версии.
Имеются сведения о высоком энергопотреблении в последних сборках ComfyUI при работе с различными FLUX LoRA; Тестирование GGUF или определенных загрузчиков Чтобы минимизировать объём видеопамяти, в ControlNet начните с Depth или Canny, чтобы создать стабильную оснастку для композитинга.
При развертывании в облаке проверьте VRAM и очереди выполнения. Локально быстрый SSD-накопитель и актуальные драйверы имеют решающее значение.Документируйте свой конвейер по разделам: загрузка модели, кондиционирование, выборка, декодирование и постобработка. Это упростит отладку в случае возникновения сбоев.
Учитывая все вышеперечисленное, теперь вы можете создать по-настоящему надежный конвейер VFX с помощью ComfyUI: Знаете ли вы, что такое рабочий процесс и как его сохранить без потери метаданных?Вы можете установить FLUX и его варианты (Dev, Schnell и FP8, NF4, GGUF), вы знаете, как запускать ключевые рабочие процессы ежедневной практики (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter и Upscale), а также у вас есть оптимизированная установка Windows с Triton, Sage Attention и ComfyUI-Manager, чтобы поддерживать систему в рабочем состоянии, стабильной и быстрой.