Если вы хотите с головой окунуться в создание изображений и видео с помощью ИИ, не теряя при этом точного контроля, вы попали по адресу: ComfyUI — это основанный на узлах интерфейс, позволяющий вам строить собственный конвейер, как из кубиков LEGO. В этом руководстве вы подробно изучите, как с нуля настраивать рабочие процессы визуальных эффектов (VFX) в ComfyUI., как для изображений, так и для видео, не упуская ничего важного.
В дополнение к основам мы рассмотрим потоки «текст-изображение», потоки «изображение-изображение», внутреннюю и внешнюю заливку, масштабирование, ControlNet, SDXL, LoRA и встраивание. Мы перейдем к видео с помощью AnimateDiff, HunyuanVideo, LTX Video и Wan 2.1Здесь вы найдёте требования, установку, ключевые параметры и советы по повышению производительности с использованием сочетаний клавиш и менеджеров узлов. Мы также рассмотрим варианты использования облачных сред, если вы предпочитаете избегать сложных установок.
Что такое ComfyUI и почему он идеально подходит для визуальных эффектов?
ComfyUI — это основанный на узлах графический пользовательский интерфейс для Stable Diffusion, который позволяет просматривать и изменять поток данных от начала до конца. Каждый узел выполняет определенную задачу (загрузку модели, кодирование текста, выборку, декодирование VAE и т. д.) и подключается кабелями. которые представляют входы и выходы. Эта философия идеально подходит для визуальных эффектов: вы точно знаете, куда поступает сигнал, где он преобразуется и как повлиять на результат.
По сравнению с монолитными интерфейсами ComfyUI отличается прозрачностью и гибкостью. Платой за эту свободу становится более крутая кривая обучения и некоторое визуальное отвлечение. (каждый рабочий процесс может быть организован по-разному), но наградой является возможность быстро создавать прототипы, точно отлаживать и обмениваться рабочими процессами воспроизводимым образом.
ComfyUI против AUTOMATIC1111
Многие пользователи используют AUTOMATIC1111, классический вариант стабильной диффузии. ComfyUI становится легче, прозрачнее и расширяет возможности прототипированияA1111 ощущается более целостным и понятным, но менее детализированным. Если вы хотите понять, как всё устроено и максимально эффективно использовать визуальные эффекты, ComfyUI — верный выбор.
Первые шаги и основные элементы управления
Взаимодействовать с холстом просто: изменяйте масштаб с помощью колесика мыши или сжимайте палец, перетаскивайте для перемещения и создавайте соединения, перетаскивая выход одного узла ко входу другого. Вы увидите блоки (узлы), такие как Load Checkpoint, CLIP Text Encode, KSampler или VAE.и кабели, которые представляют собой путь передачи данных.
Текст к изображению: базовый поток и основные узлы
Стандартный конвейер включает загрузку контрольной точки, кодирование подсказки, выборку в латентах и декодирование в пиксели. Это скелет, на котором построено почти все в ComfyUI..
Выбор модели с помощью Load Checkpoint
Узел Load Checkpoint предоставляет три части: MODEL (сеть прогнозирования шума), CLIP (кодировщик текста) и VAE (для перехода от пикселей к латентным данным и наоборот). MODEL подает данные на KSampler, CLIP отправляется на текстовые узлы, а VAE используется для декодирования конечного результата.Без контрольной точки нет игры, поэтому выбирайте ту, которая совместима с вашим рабочим процессом.
Положительные и отрицательные подсказки с помощью CLIP Text Encode
Используйте два узла CLIP Text Encode: верхний для положительного и нижний для отрицательного. Текст преобразуется в высокоразрешающие вставки, которые направляют распространение.Вы можете взвешивать слова с помощью синтаксиса (термин: 1.2), чтобы придавать больший или меньший вес концепциям.
Генерация и параметры KSampler
Выборка начнется, как только вы поместите ее в очередь (приглашение в очередь). KSampler управляет начальным значением, шагами, сэмплером, планировщиком и силой шумоподавления.Фиксированное начальное число обеспечивает воспроизводимость; большее количество шагов обычно улучшает детализацию (за счет времени); denoise=1 в text2img применяет полный процесс удаления шума.
Пустое скрытое изображение: разрешение и пакеты
Узел «Пустое скрытое изображение» создает начальный скрытый холст. Высота и ширина должны быть кратны 8.Типичные размеры: 512/768 для SD 1.5 и 1024 для SDXL. Измените размер пакета, если хотите получить несколько изображений за один запуск.
VAE: компрессия и реконструкция
VAE кодирует и декодирует данные между пикселями и скрытыми данными. Он обеспечивает эффективность и скрытое пространство, которым можно манипулировать, в обмен на некоторые потери или артефакты.В text2img вы будете использовать его в основном в конце (VAE Decode), чтобы получить изображение в пикселях.
Изображение в изображение, SDXL и закрашивание/закрашивание
Изображение за изображением
Этот рабочий процесс объединяет подсказку и базовое изображение. Выберите контрольную точку, загрузите изображение, просмотрите подсказки и настройте шумоподавление. в KSampler, чтобы решить, насколько далеко вы отклонитесь от оригинала (меньше шума = больше похоже на источник).
SDXL на ComfyUI
ComfyUI поддерживает SDXL на ранних этапах и эффективно благодаря своей модульности. Подготовьте положительные/отрицательные подсказки и запустите процесс с соответствующим сэмплером.; помните об оптимальном разрешении латентности (обычно 1024).
Inpainting
Чтобы изменить определенные области, загрузите изображение, откройте редактор масок и сохраните маску в узле. В этом рабочем процессе используются стандартные модели. Если вы используете контрольную точку «inpainting», используйте VAE Encode (Inpaint). Вместо стандартных узлов VAE Encode и Set Noise Latent Mask он задает подсказку для описания изменения и типичную интенсивность шумоподавления, например 0.6.
Перекраска
Расширьте границы изображения с помощью Pad Image for Outpainting: управляйте левым/верхним/правым/нижним краем и растушевкой для плавных переходов. В VAE Encode (для Inpainting) отрегулируйте grow_mask_by (лучше >10) для достижения более естественных и хорошо интегрированных пломб.
Масштабирование: пиксельное и скрытое
Увеличение пикселей
Два способа: по алгоритму (бикубический, билинейный, максимально точный) с функцией масштабирования изображения или по модели с функцией загрузки масштабированной модели + масштабирования изображения (с использованием модели). Алгоритмы быстрые, но менее совершенные; модели требуют больше времени и обычно обеспечивают более высокую детализацию.и вы можете совместить экскурсии с пакет 50 эффектов для After Effects.
Высокий уровень скрытого
Так называемая технология Hi-Res Latent Fix масштабируется непосредственно в скрытом пространстве, обогащая детали во время реконструкции. Он может немного отличаться от оригинала и работать медленнее, но он добавляет информацию. вместо того, чтобы просто растягивать пиксели.
Быстрое сравнение
Пиксельное масштабирование: быстрое, без добавления новой информации, возможно сглаживание. Скрытое масштабирование: медленнее, Он добавляет детали, но может изменить базовое изображение.Выбирайте в соответствии с контекстом и требуемой точностью.
ControlNet: точное управление структурой
ControlNet предоставляет такие рекомендации, как границы, поза, глубина или сегментация, чтобы гарантировать, что модель соответствует структуре. Это чрезвычайно мощный инструмент для визуальных эффектов, поскольку он последовательно исправляет композицию и движение.Попробуйте Lineart, Depth или OpenPose и отрегулируйте интенсивность, чтобы сбалансировать точность/креативность.
ComfyUI Administrator: пользовательские узлы обновлены
Установить отсутствующие узлы
Если рабочий процесс запрашивает узлы, которых у вас нет, используйте кнопку «Менеджер»: «Менеджер», «Установить отсутствующие пользовательские узлы», перезапустите ComfyUI и перезагрузите браузер. Это гарантирует точное воспроизведение общего потока..
Обновление узлов
В диспетчере проверьте наличие обновлений и нажмите «Установить пользовательские узлы». Если рядом с пакетом появится кнопка «Обновить», примените его, перезапустите и обновите систему. Поддержание узлов в актуальном состоянии предотвращает ошибки и улучшает функциональность..
Поиск узлов на холсте
Дважды щелкните по пустому полотну, чтобы открыть поиск узлов и добавить их по имени. Это ускоряет сборку сложных цепей. без просмотра меню.
Встраивание (инверсия текста)
Чтобы активировать внедрение, введите embedding:Name в ответ на положительный или отрицательный запрос. Поместите файл в ComfyUI/models/embeddings ComfyUI применит его, если найдет совпадение. Это эффективный способ внедрения определенных стилей или концепций.
Встраивание автодополнения
Установите пакет ComfyUI-Custom-Scripts для автозаполнения. После активации, начните вводить «embedding:», чтобы увидеть доступные варианты встраивания.ускорение работы с большими коллекциями.
Вес встраивания
Вы можете взвесить его так же, как и слова: (embedding:Name:1.2) увеличивает влияние, а (embedding:Name:0.8) уменьшает его. Регулировка веса позволяет вам точно контролировать визуальное воздействие..
LoRA: адаптирует стиль, не трогая VAE
LoRA изменяет МОДЕЛЬ и КЛИП базовой контрольной точки, чтобы ввести стили, символы или объекты, оставляя VAE нетронутым. Базовый поток: выберите контрольную точку, добавьте один или несколько LoRA, просмотрите запросы и запустите очередь..
Несколько каскадных LoRA
В одном потоке можно применять несколько LoRA; они объединяются последовательно. Экспериментируйте с порядком и весом, чтобы творчески смешивать стили. пока не будет достигнут желаемый баланс.
Хитрости и приемы, которые экономят время
Копировать/вставить: Ctrl+C, Ctrl+V и Ctrl+Shift+V для вставки с сохранением записей. Выберите несколько узлов с помощью Ctrl, создайте рамки выбора и переместите их с помощью Shift. для быстрой компоновки.
Отключение узла с помощью Ctrl+M временно исключает его; минимизировать узел, нажав на точку в его верхнем левом углу для расчистки холста в крупных проектах.
Очередь генерации: Ctrl+Enter. ComfyUI повторно выполняет узлы только при изменении входных данных.; исправляет начальные значения, чтобы избежать пересчета длинных цепочек и сэкономить время.
Встроенный поток PNG: перетащите сгенерированное изображение в ComfyUI, чтобы извлечь рабочий процесс из его метаданных. Это отличный способ совместного использования и версионирования конвейеров. Не теряя фрагментов. Если вы лучше усваиваете материал с помощью видео, посмотрите 10 новаторских видеоуроков.
ComfyUI для видео: AnimateDiff пошагово
AnimateDiff позволяет генерировать последовательности из текста, изображений или видео. Для Windows с NVIDIA оптимально 10 ГБ видеопамяти (минимум 8 ГБ при более низких разрешениях или Txt2Vid); в требовательных проектах можно ожидать около 10 ГБ с 2 ControlNets.
Установка и зависимости
Установите Git для клонирования узлов и 7-Zip для извлечения портативного ComfyUI. FFmpeg необязателен (для упаковки GIF/MP4 из узлов-комбинаторов)Если его нет в PATH, потоки продолжают генерировать свободные кадры.
Загрузите портативную версию ComfyUI и запустите run_nvidia_gpu в первый раз для инициализации. В папке пользовательских узлов клонируйте ComfyUI-AnimateDiff-Evolved, ComfyUI-Manager, ComfyUI-Advanced-ControlNet и ComfyUI-VideoHelperSuite.
Из менеджера установите «ControlNet Auxiliary Preprocessors» и «FizzNodes». Перезапустите ComfyUI, чтобы всё загрузилось корректно. и избегайте ошибок импорта.
Требуются модели
При необходимости разместите совместимые контрольные точки SD 1.5 в соответствующей папке, а также универсальный VAE. Загрузите модули движения (например, оригинальные из AnimateDiff, TemporalDiff или AD Stabilized Motion) и скопируйте их в свой путь. Для ControlNet добавьте Lineart, Depth и OpenPose (pth/yaml).
Основные рабочие процессы: Vid2Vid и Txt2Vid
Vid2Vid: загружает каталог кадров с узлом ввода изображения/видео, управляет параметрами image_load_cap, skip_first_images и select_every_nth для длительности и выборки. Единые параметры контекста имеют решающее значение: длина контекста ~16, перекрытие для непрерывности и замкнутый цикл только для Txt2Vid..
Txt2Vid: использует первичный узел кадра (без загрузчика изображений) и генерирует непосредственно из приглашения. При Denoise=1 в KSampler вы получите полностью генеративный эффект, идеально подходит для креативных клипов.
Пакетное планирование запросов
BatchPromptSchedule от FizzNodes позволяет варьировать подсказки для каждого кадра. Он использует pre_text и app_text для общих заголовков и замыканий, а также определяет пары «кадр: подсказка». Будьте осторожны с последней запятой в последнем элементе, это приведет к ошибке.; дублирует инструкцию, если вы хотите сохранить ее между интервалами.
Настройки выборки и комбинирования
KSampler для видео требует больше шагов (минимум 25 и лучше увеличивать). Попробуйте сэмплер Euler_a и настройте CFG по своему вкусу.В Vid2Vid уменьшите уровень шума, чтобы приблизиться к исходному клипу. Узел Combine экспортирует GIF/MP4: задайте частоту кадров, количество циклов, формат и необходимость пинг-понга.
Практические советы: уменьшите силу ControlNet для неподвижных изображений, попробуйте OpenPose, используйте второй KSampler для коррекции «hires». Попробуйте Motion LoRA для улучшения определенных движений и экономно комбинирует ControlNets.
Другие видеодвижки в ComfyUI
HunyuanVideo (img2vid с учётом субтитров)
Подготовьте изображение размером 512x512 и создайте субтитры с помощью Florence2Run. Замените термины типа «изображение/фото/иллюстрация» на «видео» с помощью StringReplace. Для согласования с обучением модели. Конвертируйте в скрытое пространство с помощью HunyuanVideo Sampler + обёрток, примените Lora Select и экспортируйте с помощью объединителя.
LTX Video (конвейер узла LTX)
Установить узлы и модели ComfyUI-LTXVideo (включая кодировщик PixArt-XL). Напишите запрос в CLIP, создайте скрытое видео с помощью EmptyLTXVLatentVideo и настройте LTXVScheduler.Количество шагов повышает качество, а такие параметры, как max_shift, base_shift, stretch и terminal, формируют динамику клипа. Сохраните с помощью SaveAnimatedWEBP (lossless true, качество 100) или экспортируйте в другие форматы.
Wan 2.1 (текст в видео, изображение в видео, видео в видео)
ComfyUI также интегрирует потоки для Wan 2.1. Его использование включает Txt2Vid, Img2Vid и Vid2Vid.с управлением параметрами, аналогичным предыдущим конвейерам, и преимуществами во временной согласованности в зависимости от варианта использования.
Анимированная графика: сегментация, глубина и смешивание
Для анимации движущейся графики из видео начните с LoadVideoInput, настройте Skip First Frames и Select Every Nth Frame, а затем масштабируйте с помощью ImageScaleToMegapixels до ~1MP. Эта предварительная обработка регулирует загрузку VRAM и скорость работы. в поколении. Вы также можете проверить, как Создание титров в Premiere для интеграции графики и титров.
Сегментируйте объект из текста с помощью GroundingDINO и SAM с GroundingDinoSAMSegment. Увеличьте маску с помощью GrowMaskWithBlur и преобразуйте ее в изображение с помощью MaskToImage для более четкой схемы.
Создайте временной сигнал с помощью TimeFeatureNode и модулируйте его с помощью FeatureScaler (линейно, логарифмически, экспоненциально). Это позволит вам контролировать смещение по глубине (Z) или положение маски вдоль клипа. для получения более кинематографических эффектов.
Создайте маску перерисовки в зависимости от глубины с помощью FlexMaskDepthChamber, объединив маску объекта, временной сигнал и карту глубины клипа. Отрегулируйте Z Front/Z Back, чтобы определить активную зону в любой момент времени. и добиться убедительного 3D-эффекта.
На генеративном этапе загрузите контрольную точку, примените LoRA, настройте подсказки и добавьте ControlNet при необходимости. AnimateDiff предоставит вам кадры; затем интерполируйте их с помощью RIFE VFI, чтобы удвоить гладкость. и плавные переходы.
Если вы хотите смешать проходы: создайте несколько версий с разными индикациями, выберите сегменты с помощью ImageIntervalSelectPercentage, смешайте переходы с помощью ImageBlend и объедините с помощью ImageBatchMulti. Финальный проход через RIFE VFI делает анимацию невероятно гладкой. и готов к экспорту.
Онлайн- и облачные альтернативы ComfyUI
Если вы не хотите ничего устанавливать, существуют облачные сервисы с предустановленным ComfyUI, с сотнями узлов/моделей и десятками готовых рабочих процессов. Они полезны для быстрых тестов или для команд, которые делятся шаблонами. без обращения в местные агентства. В качестве быстрой и простой альтернативы, есть также ресурсы анимации и визуальные эффекты в CapCut.
Другой вариант — использовать облачные видеогенераторы, такие как Dreamina: простой интерфейс, отсутствие локальной видеопамяти и получение результата через 20–60 секунд. Он предлагает такие дополнительные возможности, как повышение разрешения до HD, интерполяция кадров и генерация звуковой дорожки.Благодаря бесплатным ежедневным кредитам для начала работы это оптимизированная альтернатива, когда скорость важнее детального контроля.
Производительность, требования и сроки
Локально ComfyUI для преобразования изображений в видео обычно требует от 8 до 24 ГБ видеопамяти в зависимости от модели (AnimateDiff, HunyuanVideo, LTX Video) и разрешения. Даже на мощных графических процессорах генерация может занять 10–30 минут. Если клип длинный или вы используете несколько ControlNets и высокочастотных фильтров, нагрузка перекладывается на провайдера в облаке.
Программное обеспечение ComfyUI бесплатное, но при длительной работе приходится платить за оборудование и электроэнергию. Облако позволяет избежать этих расходов в обмен на зависимость от сервиса и плату или кредиты.Оцените, что принесет наибольшую пользу вашему рабочему процессу.
Распространенные способы устранения неполадок
Если вы видите нулевые ошибки или узлы, которые «не существуют», вероятно, в ваших папках отсутствуют модели или не удалены зависимости. Убедитесь, что каждый узел имеет соответствующую модель, и используйте Менеджер для установки всех отсутствующих пакетов.Избегайте конфликтующих репозиториев, если вы уже используете ComfyUI для других задач.
Лучшие практики для обеспечения согласованности визуальных эффектов
Заблокируйте семена для воспроизводимости, пока вы корректируете участки цепи. Сохраняйте изображения с метаданными рабочего процесса и аннотируйте версии узлов и моделей.В видео внимательно определяйте длину контекста и перекрытия, а также соблюдайте четкий порядок ControlNets и LoRAs.
Тактически переключайтесь между высокомасштабными пикселями и скрытыми в зависимости от типа снимка и уровня детализации. В Vid2Vid уменьшите уровень шума, чтобы обеспечить сохранение базового движения.В Txt2Vid нажмите шаги и сэмплер, чтобы добиться визуальной стабильности.
Интегрируйте препроцессоры ControlNet (canny, deep, openpose…) из Менеджера, чтобы расширить свой инструментарий. И помните: меньшая сила ControlNet часто обеспечивает лучшие результаты при воспроизведении видео.избегая фильтрованного внешнего вида и поддерживая естественный вид.
Обязательно изучите HunyuanVideo и LTX Video, если в вашем случае требуются направляющие субтитров, иное управление динамикой времени или альтернативные конвейеры. Wan 2.1 также добавляет надежные опции для Txt2Vid, Img2Vid и Vid2Vid. с последовательными параметрами и конкурентоспособными результатами.
Те, кому нужна скорость и отсутствие трения, могут положиться на онлайн-сервисы, а тем, кому необходим хирургический контроль и полная воспроизводимость, подойдет локальный ComfyUI. Благодаря всем тем элементам, которые вы рассмотрели — узлам, параметрам, сочетаниям клавиш и потокам — у вас теперь есть план действий по созданию первоклассных визуальных эффектов. как в статических изображениях, так и в видеопоследовательностях, гибким и масштабируемым способом.
