Stable diffusion入门教程,如何生成角色形象一致性的图像

您是否需要从不同的视角创建一致的 AI 角色?例如下面的图片效果。

Stable diffusion入门教程,如何生成角色形象一致性的图像

一. 实现原理

制作一张同一个人物角色不同的视角网格图片,如下图所示。

Stable diffusion入门教程,如何生成角色形象一致性的图像

使用ControlNet的Canny SDXL控制模型生成人物角色轮廓,如下图所示。

Stable diffusion入门教程,如何生成角色形象一致性的图像

然后使用 IP Apadter FaceID Plus v2 从另一个参考图像复制面部。由于IP Apadter FaceID仅复制面部。它可以从参考图像中精确提取面部特征,因此可以准确地将面部转移到不同的视角。

二. 制作方法

【第一步】:大模型的选择

这里推荐使用:ProtoVision XL-High Fidelity-No Refiner,版本v6.6.0。

模型下载地址

LiblibAI:https://www.liblib.art/modelinfo/3a3d10aa7fe644158c08a5a43da358db

【第二步】:提示词的编写

我们以上图中第一张图片为例来进行说明。

正向提示词

Prompt:character sheet, color photo of woman, white background, blonde long hair, beautiful eyes, black shirt

提示词:人物表,女人的彩色照片,白色背景,金发长发,美丽的眼睛,黑色衬衫

反向提示词

disfigured, deformed, ugly, text, logo

Stable diffusion入门教程,如何生成角色形象一致性的图像

相关参数设置

  • 采样器:DPM++ 2M Karras
  • 采样迭代步数:20
  • 图片宽高:1024*1024。
  • 提示词引导系数(CFG):7

【第三步】:ControlNet的设置

这里我们需要配置2个ControlNet单元。

ControlNet单元0:canny控制模型配置

Stable diffusion入门教程,如何生成角色形象一致性的图像

相关参数设置如下:

  • 控制类型:选择"Canny(硬边缘)"
  • 预处理器:canny
  • 模型:diffusers_xl_canny_mid
  • 控制权重:0.4
  • 引导介入时机:0
  • 引导终止时机:0.5

ControlNet单元1:Ip-Adapter控制模型配置

Stable diffusion入门教程,如何生成角色形象一致性的图像

相关参数设置如下:

  • 控制类型:选择"IP-Adapter"
  • 预处理器:ip-adapter_face_id_plus
  • 模型:ip-adapter-faceid-plusv2_sdxl
  • 控制权重:0.7
  • 引导介入时机:0
  • 引导终止时机:1

【第四步】:使用 ADetailer 自动修复脸部

由于图片中人脸较多,需要开启ADetailer修复脸部。模型选择:face_yolov8n.pt

Stable diffusion入门教程,如何生成角色形象一致性的图像

第五步】图片的生成

点击【生成】按钮,我们来看一下最终生成的图片效果。

Stable diffusion入门教程,如何生成角色形象一致性的图像

三. 相关说明

(1) 这里使用的ControlNet canny和Ip Adapter控制器都是基于SDXL的,所以大模型的选择必须是基于SDXL的大模型。

(2)由于网格呈现的主要是人物头像,所以上传的图片最好也是人物肖像照片。全身照出来的效果可能并不是特别理想。

(3)自由定制化:在上面的制作过程中,我们只需要更改Ip Adapter的图片即可,也可以结合自己的需求修改正向提示词。

(4)如果脸部与图片不符

  • 增加IP Adapter的控制器权重
  • 降低 Canny ControlNet 的控制权重和引导终止时机

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

 

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

免费的AI绘画和图像生成工具,零基础也能画出大师级作品

2024-6-8 10:33:24

百科

如何用AI实现小红书壁纸号变现,小白也能轻松制作

2024-6-9 12:50:58

搜索