ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

现在AI技术越来越成熟,只要一台电脑,在家也可以制作电影级别的AI视频了,完全可以以假乱真。

今天我带大家通过ComfyUI一步一步搭建Wan2.1最新的VACE工作流,带你体验AI视频的强大之处。

看完这篇文章,你也可以做出一样的AI视频。

一、节点安装

方法一:

节点的方法有很多种,一种是通过节点管理器,搜索wanvideowrapper,找到插件“ComfyUI-WanVideoWrapper”,然后点击安装

65a1d664j00swydbt003zd000u000h1m

方法二:

还通过github下载节点,解压到custom_nodes目录(记得解压后的文件名后面的”main”删掉)。

链接:

https://github.com/kijai/ComfyUI-WanVideoWrapper

e0cecb41j00swydbs0033d000rz00gam

节点安装结束后记得重启ComfyUI

关于节点的具体安装方法,请见这篇文章:

让ComfyUI无所不能的秘密:如何自定义节点!AI绘画,ComfyUI教程,安装自定义节点

二、基础模型下载

万相的模型比较多,有些可能还不互通,下面跟大家具体讲一下使用方法。

首先来到万相的下载页面:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

1、文生视频和图生视频模型

文件名带T2V的就是文生视频模型

显存大于12G的,可以尝试选择14B模型

显存低于12G的,建议选择1.3B模型

51646454j00swydbp0028d000kl0086m

文件名带I2V的就是图生视频模型

图生视频的模型同样有两个版本,分别为480P和720P的

显存大于12G的,可以尝试选择720P模型

显存低于12G的,建议选择480模型

572bd3c0j00swydbo001id000k9005pm

文生视频和图生视频的模型放置路径:models\diffusion_models

建议在文件夹下面新建个模型文件夹,方便模型的管理,可以将文件夹改名为“wan2.1”,模型放置路径为:

models\diffusion_models\wan2.1

2、VAE模型

不论是万相官方的工作流还是Kijai的插件,VAE的模型都是通用的

6a6addf9p00swydbo000gd000kk0035m

VAE模型的放置路径:models\vae

3、clip version 和 text encoder模型

上面讲的模型都是通用模型,下面讲一下不通用模型的使用方法

在使用kijai的插件时,需要对 clip version 和 text encoder模型进行替换,就是下图框选出来的两个模型(这两个模型分别都有两个版本,所以是4个文件)

f6f08fb8j00swydbp001vd000q9007fm

clip version模型放置路径:models\clip

text encoder模型放置路径:\models\text_encoders

随着模型文件的增加多,为了避免混乱,同样你可以新建一个 kijai 文件夹放刚刚的模型,方便你对模型的管理。

f87d7d78j00swydbo000md000dr007hm

三、VACE模型下载

VACE一共3个模型,14B有2个模型,1.3B有一个模型

14B的模型最好用12G以上显存的显卡

12G以下的显存的显卡就老老实实用1.3B的模型吧,1.3B的模型用8G显存的显卡也可以跑起来,但速度贼慢了。

另外14B模型建议用fp8版本的,虽然精度没有bf16的好,但速度更快一些

cdf362afj00swydbo0018d000om0046m

模型放置路径:models\diffusion_models

四、基础工作流搭建

下面开始工作流的搭建了,只要你按照我的步骤一步一步来,最终的工作流肯定是不会出错的。

首先,在工作区空白处双击,搜索并添加wanvideo smpler节点

06be9652j00swydbt0052d000u000jlm

在model管道处往外拖拽,添加wanvideo model loader 节点

02c8f265j00swydbs001od000or00e8m

找到vace_model管道,拖拽并添加vace模型选择器节点

9e5b539ej00swydbt003fd000u000f0m

设置好正确的文生图基础模型和VACE模型

a0d4df0dj00swydbs002zd000u000eem

如果你的显存不足,可以从block_swap_args管道处往外拖拽,添加blockswap节点

c4edba3aj00swydbs0022d000nk00gam

blockswap节点可以帮助我们节省显存占用,如果显存够用的话可以不必添加。

如果你想做一个分辨率高或时长比较长的视频,也可以添加这个节点,不过相应的运算时间也会变长。

一般blockswap节点的数值设置到20以上。

c61a4f2ej00swydbt003cd000tb00j6m

回到wanvideo sampler节点,从text管道处拖拽并连接wanvideo textEncode节点

d1803b1ej00swydbu006ed000u000r8m

wanvideo textEncode节点是用来写提示词的

5acb261ej00swydbu005cd000u000khm

从wanvideo textEncode节点的t5管道向外拖拽,找到并连接T5 TextEncoder节点

49a5cec5j00swydbs001kd000tv00epm

在这里选择我们刚刚下载的text Encode模型

cdc5e42aj00swydbr002hd000u000bam

下面再回到WanVideo Sampler节点,向大家介绍一下这个节点的参数含义及用法

feta_args管道,连接WanVideo Enhance-A-Video节点,提升视频质量,参数保持默认不变

TeaCache管道,连接WanVideo TeaCache节点,加速视频生成速度,参数保持默认不变。如果生成的视频手部模糊,可以尝试关掉这个节点

slg_args管道,连接WanVideo SLG节点,提升视频质量,blocks一般设为9

8f8bd116j00swydbu007ud000u000q3m

WanVideo Experimental Args节点功能介绍

从wanvideo sampler节点的experimental_args管道向外拖拽,连接WanVideo Experimental Args节点

e3967c4bj00swydbu007jd000u000q7m

video_attention_split_steps:

控制模型从什么时候开始处理帧与帧之间的连贯性。

举例:如果将这个参数设为10,表示模型在前10步只关注模型本身的细节或质量,不处理画面的连贯性。这样视频的开头会特别的清晰和稳定,在10步以后才开始慢慢加入视频连贯性的计算。

如果你特别注意视频首帧的画面质量,可以使用它。

0afefd58j00swydbu002hd000py00ncm

cfg_zero_star:让视频的初始帧画面更加稳定,默认保持开启。

7d52b7f8j00swydbu002qd000qe00nrm

use_zero_init:如果视频初始画面比较混乱和闪烁,可以尝试开启看下效果。

6b22d6e6j00swydbu002id000pp00mym

zero_star_steps:设置cfg_zero_star从第几步开始启用,默认从第0步开始。

01ceae57j00swydbu0032d000qk00n3m

use_fresca:调节视频更注重细节还是更注重整体的参数,打开这个参数后,底面的 fresca_scale_low和high参数就可以使用了

fresca_scale_low和fresca_scale_high:参数越高,视频画面细节越高,参数越低,视频画面越注重画面的整体感。

6006e448j00swydbt002zd000q800n0m

fresca_freq_cutoff:参数的数值越高,模型会处理更多的细节,数值越低,模型会过滤掉细节,只处理模糊、轮廓等。保持默认的20即可。

a7de8e27j00swydbt002nd000pv00n7m

在空白处双击,搜索WanVideo VACE Encode节点,使之与WanVideo Sampler节点的image_embeds连接

ceac0290j00swydbu004yd000tn00rhm

将WanVideo VACE Encode的VAE管道连接上WanVideo VAE Loader节点,并设置为Wan2_1VAE模型

b0a49551j00swydbu002md000tz00j2m

我们刚刚添加的WanVideo VACE Encode是一个编辑节点,所以还要再增加一个解码节点。

在空白处双击,搜索并添加WanVideo Decode节点,使之与WanVideo Sampler节点连接。

6f583963j00swydbu0052d000u000qkm

WanVideo Decode节点上面还有一个VAE管道,将它再和VAE节点进行连接。

25f5184aj00swydbt004wd000u000ebm

最后搜索并添加一个合并为视频节点,和视频解码WanVideo Decode节点进行连接

6378f405j00swydbt003sd000u000fym

这样基础的工作流就搭建完成了。

我们之后的所有工作流都是基于这个基础工作流进行扩展搭建的,而且这个基础工作流里面的参数也基本不需要进行改变。

基础工作流完整截图见下方。

547e5599j00swydbs004xd000u000bnm

五、首尾帧工作流搭建

下面以刚刚搭建的基础工作流为基础,继续搭建一个首尾帧工作流。

在空白处双击,搜索并添加 WanVideo VACE Start To End Frame 节点

e6dfc74cj00swydbs003hd000u000apm

将首尾帧的图像输出管道(images)和解码节点的输入帧管道(input_frames)相连接

再将遮罩管道(masks)和遮罩输入(input_masks)管道进行连接

38f71ca1j00swydbs0039d000u000dim

在首尾帧节点的start_image和end_image管道分别连接一个加载图像节点,分别放入视频的首尾帧图片

51a41170j00swydbu0080d000u000k5m

为了保证首尾帧图像的尺寸一致,需要在图像加载节点和首尾帧节点中间分别加一个图像缩放的节点

开启图像缩放节点的裁剪,选择中心裁剪,不然图像会被强制拉伸变形

6f7ef30ej00swydbu0092d000u000jjm

增加一个获取图像尺寸的节点,通过它将首尾帧节点(WanVideo VACE Start To End Frame)的图像尺寸,传递给图像解码节点(WanVideo VACE Encode)

56effdbcj00swydbt0049d000u000e1m

首尾帧节点里num_frames指的是视频总帧数

这个参数通过获取图像尺寸节点的count管道传递给视频编码节点

9c8fff32j00swydbs004ad000u000dgm

视频时长设置

在首尾帧节点里,默认视频总帧数为81帧

在合并为视频节点里,视频的帧率为16帧/秒

所以视频的总时长为:(81-1)/16=5秒

如果你想让视频更加丝滑连贯,可以增加视频的帧率;如果还想同时保持时长不变,就要同时增加视频帧数。

总的来说,想延长视频时长一定要增加帧数,但如果想同时让视频更丝滑,也要提高帧率,但这些都是以增加运行时间为代价的。

cd962e57j00swydbs0042d000u000brm

现在一个首尾帧的工作流就搭建好了,下图为完整工作流截图。

ebc1acbdj00swydbu00a2d000u000jim

六、运行工作流

先说下我的本地配置:

3090显卡,24G显存,96G内存

我是开了blocks_to_swap的,数值为20,我试过关闭它,但关了后工作流报错无法运行

3cfe2c98j00swydbq000sd000b90086m

这个工作流的视频尺寸为800*600,一共81帧,帧率16帧/秒,总时长5秒

83b18ee2j00swydbu005fd000u000iem

我还把WanVideo Sampler节点中的步数调整为了35步,其它参数没变。

79ff41acj00swydbr0019d000bm00eem

整个工作流跑下来一共耗时1461.18秒,差不多24.35分钟。

下面是24.35分钟跑出来的视频。因为视频体积太大,我把视频尺寸缩小了一半以上,画质比以前降低了不少,但从总体画面来看效果还是不错的。

人物表情和动作自然,还自动补全了背景街道中车辆和人物的变化,使整个视频看起来更加真实。

d0fe5f95g00swydbt07c2d000dw00aam

总体来说VACE模型做出的视频更加真实,细节也更丰富细腻,有了它,我们在家也可以做出电影级别的AI视频了。

不过话说回来,AI视频目前还是一个抽卡的过程,如果一次出的视频不够完美,尝试更改提示词,多抽几次再试一下。

声明:内容来源公开的各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

两个人对话的视频怎么制作?教你用AI制作"双人对话"爆款视频!

2025-5-31 9:22:49

百科

豆包好不好用?40个豆包AI指令提示词助你轻松掌握AI写作技巧!

2025-5-31 11:50:27

❯
搜索