AI视频实用教程,轻松生成多人对口型视频

之前我做过一期虚拟偶像MV教程,反馈很好,相信大家已经陆陆续续开始实践啦~

当时评论区有人问我怎么对口型……

说实话,纯靠赌。

疯狂抽卡然后逐帧核对找和歌词对得上的部分剪辑进去,细看其实还是会发现对不上。

不过这两天!我迭代了一下我的MV生成工作流,用Seko完美解决了这个问题,请看成片:

这次成片,我只花了原来三分之一的时间,效果更好,效率更高!

赶紧来给大家更新教程分享了~

简单介绍下,Seko是商汤出的AI视频Agent,不用下载就能直接用:https://www.1ai.net/39585.html

最近他们又又又升级了,支持同一画面三人对口型,还上线了分镜画布,图像修改也更方便了!

我先做了个男女对唱MV,发在群里小伙伴们反响非常好:

本篇教程会以男女对唱MV案例为主,复杂度更高一些能讲到的操作细节也更多!

虚拟偶像MV 2.0的提高技巧在第二部分,可以下拉直达~

话不多说,保姆级教程启动!

男女对唱MV

今天我们重点来说如何用Seko给我们生成好的音乐配画面。

我的工作流分为以下几个环节:确认主体——把主体和歌词给Seko——确认分镜——用Seko对口型——生成其他不需要对口型的视频——导出视频素材——视频编辑器二次调整(调整画面顺序/对音轨/加转场动画/加字幕)。

如果没有主体,可以尝试这样给Seko下指令:

AI视频实用教程,轻松生成多人对口型视频

在Seko,我们做视频有2种方案:

1、不给主体,选择画风:视频全程都是文生图,一致性容易发散,不太适合做长视频;

2、固定主体,不选画风:视频全程会按照给的参考主体来生成,保持高度一致性,但如果给的主体素材不够好,也会影响生成效果。

Seko的生图模型捏人很对味,我按上面的指令选了画风,贴上歌词后,就在策划页面给我生成了适合的男女主角。

当然,这一步不是必须,如果你有已经选好的主角设定图可以直接创建主体。

现在,我们回到Seko首页,创建这2个主体,再更新一下提示词,带入这2个主角来生成视频:

AI视频实用教程,轻松生成多人对口型视频

点击发送后,来到策划页面。

Seko会自动创建好美术风格、场景、设定音乐风格、按歌词内容批量生成几十个分镜:

AI视频实用教程,轻松生成多人对口型视频

这里有2点要检查:

1、配音角色和台词去掉了吗:有时候AI会漏掉这部分指令,没关系,你可以在左下角窗口发指令要求去掉

2、对于设置了主体的策划案,你可以在生成分镜之前选择生图模型:我做成片的时候选了即梦4.0,还有Nano、Seko IDX、Flux.1 Kontext Pro可以选,大家感兴趣可以自己试试

我把整首歌的歌词都贴了上去,时长2分钟,Seko直接给我生成了77个分镜——分镜出的越多,你后期可选的画面空间就越大。

我的视频实际只做半首歌,多贴一些歌词就能给我更多相关画面,省了我自己写提示词和反复抽卡的时间。

进入视频编辑器后,可以看到目前每个分镜都是图片的形式。

系统有时会自动生成字幕,如果上一步没把配音去掉这里也会有配音,可以分别点这2个点地方关闭字幕和配音:

AI视频实用教程,轻松生成多人对口型视频

接下来,我们可以检查一下图片是否有要修改的部分。

比如这一张,女主的脸上有个光斑,我想去掉,这时候可以点击画布编辑:

AI视频实用教程,轻松生成多人对口型视频

对局部不满意的地方进行涂抹消除:

AI视频实用教程,轻松生成多人对口型视频

还支持局部重绘、元素添加、裁剪,想改什么改什么。

也可以直接调整提示词重新生成:

AI视频实用教程,轻松生成多人对口型视频

为了方便我们能大致对上音轨,这里我们把已经生成好的歌传上去:

AI视频实用教程,轻松生成多人对口型视频

注意,这里目前只支持上传5MB以下的音频文件。

可以网上搜一下在线压缩网站,很多,免费。

接下来,我们开始操作对口型,这里会用到商汤自研的对口型模型SekoTalk。

在图片分镜上方有对口型功能选项,进入编辑页面:

AI视频实用教程,轻松生成多人对口型视频

把这段视频对应的音频片段剪出来,上传-添加-填写画面描述-生成视频:

多人对口型也是类似:选择一个2人同框对唱的画面,把2个人演唱的音频部分分开上传,再在音轨里调整一下顺序:

AI视频实用教程,轻松生成多人对口型视频

对于不需要对口型的视频,确认分镜素材没问题,可以在左侧点【转视频】。

这里Seko会根据分镜内容,自动写好视频生成提示词,你还可以在这一块区域调整视频的长度和生成模型:

AI视频实用教程,轻松生成多人对口型视频

重复以上步骤,操作完所有分镜素材转成视频,导出后再和原音轨对齐时间轴,按调整画面顺序,加字幕和转场动画,双人对唱MV就做完啦!

虚拟偶像MV 2.0

在探索完双人对唱的玩法之后,我又开始给我的虚拟偶像MV升级了!

整体步骤都一样,给大家4个进阶小技巧:

1、引入单人多视角多图

之前1.0教程已经给大家讲了如何生成高一致性的人物图片素材——用Midjourney生成完这个原创偶像角色后,我们可以用Nano得到这些:

正面特写

AI视频实用教程,轻松生成多人对口型视频

侧面半身

AI视频实用教程,轻松生成多人对口型视频

全身

AI视频实用教程,轻松生成多人对口型视频

我观察到Seko带主体的生成逻辑是图生分镜再生视频,于是想到,可以给把单人角色的不同角度素材作为主体,来丰富画面分镜视角。

又因为这些素材都是用Nano跑出来的,本身就有一致性基础,所以整个视频就可以保持高度一致性。

和上一部分一样,创建主体,再在提示词里引用:

AI视频实用教程,轻松生成多人对口型视频

注意,我这里用的全身素材质量不太高,有点模糊,人只占据画面的十分之一,导致后来做全身视频的时候质量就变差了。

所以大家可以在原始素材上多下功夫,尽量使用主体在画面中占据更高画面比例的高清素材。

2、对口型时加入细节描述

虽然页面上写着选填,但在这里加描述是生效的:

AI视频实用教程,轻松生成多人对口型视频

这样就可以让头发飞舞起来了!

3、对视频片段加速

导入视频编辑软件二次加工的时候,可以对选定片段加速,我会根据画面/歌词卡点加到1.5-2倍速。

有时AI运镜会有点慢,加完速正好,也会更逼真。

4、用更多的分镜切换

在Seko里生成单一画面默认是5秒,做唱跳MV频繁切换运镜会更带感,所以需要更多素材填充。

你可以选择像我刚刚那样多输入一些歌词从后面找合适的素材填充前面的片段,也可以在Seko里再开一个项目,用相同的提示词同步生成分镜,飞速拉升你的视频制作效率。

写在最后

在写这篇文章的前一天,Veo3.1发布,OpenAI也推出了更强的Sora2。

刚开始,我看到它们的效果其实有点焦虑……

这时候我做MV这个选题会不会有点尴尬?

但跑完案例,我意识到,完全不会。

我的工作流,我的教程,依然有价值。

目前自动生成视频的上限是25秒,在官方渠道需要开200美元一个月的ChatGPT会员才能跑。

想用这俩模型给指定歌曲配MV基本不可能——他们都自带音效,哪儿能跟我的音乐匹配上。

另外,中文画面生成乱码也是外国模型的老大难问题。

而Seko现在这套视频Agent方案,接入多家生图模型+视频模型,以最适合做视频的交互方式组合出现,扎扎实实提升了我做视频的效率。

今天我探索出来的这条路,一定能帮助许多人解决他们的问题。

当时我们群里讨论了一圈,好像现在各家工具确实都还比较麻烦,一站式平台要像我之前那样一直抽卡再拼接才能得到长视频。

现在,用Seko就能一键生成长视频了。

当然,如果你想要更好的效果,还需要学会一些调整技巧,比如今天文章里提到的这些。

但目前有了这样的工具组合,确实是在把AI漫剧、AI MV、AI短剧的工业化运作一步步推向现实,生产力变革可能会改变许多人的人生轨迹。

这也是今天我想升级MV生成工作流的重要原因。

做AI内容,如果不可控,没有实际场景,纯自high是没有意义的。

所以我不想成为只会喊【xxx发布了牛逼】的博主,我想给你们做真实有用的内容。

可以慢一点,但我希望这些内容是有长期价值的。

所以,如果今天的内容也对你们有用,就太好啦!

声明:内容来源公开的各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

扣子coze智能体搭建教程,一键自动采集1000条小红书爆款笔记

2025-10-30 9:00:52

教程百科

AI人像照全流程分享,即梦AI图片提示词生成写真效果

2025-10-31 16:29:15

搜索