
今天分享一个基于Seedance 2.0 的AI视频制作流程,可以一定程度解决Seedance 2.0 无法传仿真人物细节图,又想维持人物一致性的问题。
本流程会用到的工具/模型:
图片模型:香蕉 Pro
视频模型:Seedance 2.0+一个传统的首尾帧模式的模型(本案例使用Seedance 1.5pro)
工具:即梦+LibTV (这里可以替换为其他工具,只要可以使用以上模型即可,大家根据自己喜好挑选)
备注:此处必须确保使用的真人素材为AI生成,且不使用真人形象作为参考。
流程一:视频主线内容生成
此环节最重点的就是提示词和参考物料的准备。
参考物料:角色图(用截图/AI生成), 场景图(用香蕉模型生成), 参考视频(前一段剧情视频)

提示词结构:参考对象+画面内容[主体行为(人物,动作,表情等)+镜头(运镜,视角+景别)]+整体约束(风格,音效,画面元素等)
具体提示词:
[以女主@图一生成一段视频,史诗奇幻视频真人写实风格,电影真人质感,极寒雪山的悬崖峭壁,强烈视觉冲击和压迫感,无背景音乐,仅保留暴雪狂风,龙的吼声。画面一全景俯拍画面@图二,采用升高俯瞰的运镜女战士站在悬崖边,底下是一望无际漫天云雾的万丈深渊,远处龙@图三往女主飞过来画面二:切换分镜,女主面部特写采用推进运镜,体现女主的紧张又坚毅的表情,体现那种见到非现实的庞大巨物和压迫感;画面三:女主骑着龙@图三,在悬崖峭壁间飞,镜头从高往下垂直拍,镜头跟随龙和女主往前飞。体现悬崖的深不见底,幽深的感觉。需要运用到分镜和不同视角切换让整个画面更有节奏感和电影感,仅生成环境的音效,不要配背景音乐。]
[生成@前一段视频的后续,以女主生成一段视频,史诗奇幻战争视频,漫天雾气,下面是万丈深渊,强烈视觉冲击和压迫感,无背景音乐,仅保留暴雪狂风,龙的吼声。画面一:女主骑着龙继续往深渊迷雾飞行,分镜切换从下往上拍,镜头跟随女主骑着龙飞行。突然一只非常庞大的欧洲巨龙@图片1出现在女主面前(龙的体型非常大,有几百米高大,蓝色发光的巨大龙的眼睛,跟周围的悬崖山峰一样庞大。体现那种非现实的庞大巨物和压迫感;画面二:女主面部特写,采用推进运镜,体现女主的紧张又坚毅的表情。需要运用到分镜和不同视角切换,让整个画面更有节奏感和电影感,仅生成环境的音效,不要配背景音乐]
生成Tips:
-第一段提示词生成3-4次,一段15秒;
-挑选最符合画面场景的一个视频作为第二段的参考视频;其他片段可以作为后续的分镜补充;
-以刚刚选择的参考视频,生成第二段视频,这里也建议一段提示词生成3-4次,时长可以结合剧情,设置的短一些。
完成上述步骤,一个AI视频基本就完成了。但是由于我们在传角色参考图的时候,无法传高清甚至没有传角色图,只能以参考视频里的人物作为参考,导致了人物一致性保持的并不是特别好。

(第一次生成的人物图片)
后续流程就是来适当弥补这个问题的。
流程二:人物面部 替换
1.查看第一步Seedance 2.0 直接成片的画面,挑出那些面部特写不是还原的画面。
2.截取关键帧,作为第二次生图的参考图。
3.截取主角人物的正脸面部(此处也可以用AI生成人物面部的细节图)作为参考图

4.选择 香蕉pro模型,输入提示词:
[将图1红框区域内的人物面部,非常自然的修改为 图2 的人物面部特征,严格保留图3 原构图、人物比例与雪山背景,背景虚化等。]

备注:该提示词是我亲测,替换效果比较自然的换脸提示词。大家有更好的欢迎评论区留言。
流程三:近景/人物面部 视频画面生成
最后一步就是将图片生成视频的环节了,这里由于都是偏单一的运镜,所以提示词都比较简单。
我选择的模型也是Seedance 1.5pro,整体效果和性价比都比较ok。视频时长选择生成4-5秒就行。

两段提示词分享:
[采用跟随运镜,跟随女主骑龙向前,保持画面构图不变,仅背景在发生位移,人物表情坚毅]
[狂风暴雪吹动人物的头发,衣物,背后电闪雷鸣,采用缓慢推进运镜,体现女主的紧张又坚毅的表情,体现那种见到非现实的庞大巨物的压迫感]
这里几个需要注意的点:
1.替换的画面尽量要选择单一运镜可以实现的画面,不然其他视频模型生成的效果可能不如原来的视频
2.个别模型生成的色调等参数会有一定偏差,需要后期剪辑微调下
3.以下几种画面不建议替换(减少不必要抽卡):
时长很短的分镜画面;
大场景,远景画面;
进行大幅度动作,比如骑龙的场景,高速飞行的场景。
最后,将每段画面导入到剪辑软件,进行简单的后期处理,一个视频就完成了。
此流程是结合Seedance 2.0 较为高效完成成片的流程,且后续步骤的人脸也不用审核,不用排队。同时,也可以作为拯救由于个别画面不完美,而不可用的AI视频废片。