FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

原本就很强的Flux,日前公布了一批官方工具,涵盖常用的绘图功能,使其媲美(甚至超过)闭源工具。

67cc09dbj00snuh78001td000t300num

首先你需要已在ComfyUI中安装最新版本的Flux,安装方法见此:FLUX测试与安装

下面逐项列出在ComfyUI中使用的方法和模型/工作流的下载路径。

一、Flux重绘(Fill Inpainting)

需要下载flux1-fill-dev.safetensors这个模型:

https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main

3d06e3c0j00snuh770020d000u000jfm

将下载的模型放在ComfyUI/models/diffusion_models/文件夹下。

下载Flux重绘工作流:

https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Inpaint.zip

解压后,将扩展名为json的文件拖到ComfyUI界面,就得到下面的工作流:

3679cef6j00snuh78000yd000u000c3m

用这张图进行测试:

75ca775cj00snuh78001fd000ow00w0m

在ComfyUI的Load Image窗口中,右键点击图像,选择“Open in MaskEditor”,然后在要修改的部分涂抹:

ed4194f3j00snuh770016d000fe00kfm

完成后点击“Save to node”保存:

c9c3ab00j00snuh78000ud000u000g0m

之后填写关键词,把人物换成金发碧眼的泳装女郎,开始生成:

ac9d93cdj00snuh78001md000u000n6m

再比如把这个女生拿的大刀,重绘成大锤:

60706573j00snuh780021d000u000ofm

或是在天空添加一艘飞船:

f9a8e7d9j00snuh780025d000u000o7m

二、Flux扩图(Fill Outpainting)

用到的模型和上面一样,也是flux1-fill-dev.safetensors。工作流从这里下载:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Outpaint.zip

fb4a14dbj00snuh780011d000u000eim

操作和重绘差不多,唯一需要注意的是“Pad Image for Outpainting”窗口,这里控制扩图范围,比如下图是左边扩展400像素,右边扩展400像素:

e050b62aj00snuh77000bd000bf0073m

官方扩图工具的效果相当好,下面看几个测试结果:

将背景的沙滩延伸

3efcd61bj00snuh780010d000u000d2m

扩展后汽车内部装饰基本符合逻辑

7e91cfdaj00snuh78001xd000u000dzm

二次元扩图表现也不错

d8abfd44j00snuh78002pd000u000dpm

真人电影剧照,加入提示词“后方摆放摩托车”

9c3ef46ej00snuh780027d000u000hym

提示词中加入“床上坐着穿西装的男人”,难辨真伪

36ef1da4j00snuh77001jd000u000clm

三、Flux风格参考(Redux)

下载sigclip_vision_patch14_384.safetensors模型:
https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors

af2cb1fej00snuh770012d000u000cjm

将该模型放在ComfyUI/models/clip_vision/文件夹。

下载flux1-redux-dev.safetensors模型:
https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev/tree/main

3b5c8cd5j00snuh78001qd000u000jgm

将该模型放在ComfyUI/models/style_models/文件夹。

下载Flux风格参考工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Redux-Basic-Workflow.zip

a04e2afdj00snuh78002bd000u000oum

风格参考主要作用是在当前图像基础上,生成相似的变体,比如下面的例子:

70da922dj00snuh78001yd000u000emm

5169fef3j00snuh78002hd000u000gbm

另外,风格参考还可以同时引入多幅图像。

多图工作流下载页面:
https://openart.ai/workflows/salmonrk/multi-flux-redux—mix-2-image-by-flux-redux/1tCNHnqfolXUUJxIjXcW

多图可以产生一些有趣的效果,比如让女孩背上大刀:

abec0148j00snuh780029d000u000oem

让两个角色的特征产生融合:

9885d4fdj00snuh780022d000u000o7m

真人变成二次元,放在动漫背景里:

34c5bb2ej00snuh78002id000u000n7m

四、Flux ControlNet

ControlNet是AI绘画不可缺少的模型,这次Flux推出了自有版本,包括Canny(边缘检测)和Depth(深度控制)。

Canny下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev/tree/main

595dea9ej00snuh78001rd000u000jim

Canny LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora/tree/main

2145b6fdj00snuh77001qd000u000hym

Depth下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev/tree/main

b7625101j00snuh77001ud000u000j7m

Depth LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora/tree/main

7c1ff7c4j00snuh78001rd000u000i5m

注意,LoRA版本是从完整版中提取,容量更小,效率更高,效果需要自行对比体会。

Canny工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Canny-Basic-Workflow.zip

Depth工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Depth-Basic-Workflow.zip

简单看一下效果,Canny可以较好的保留原图的整体结构,并做出修改:

b70e6e44j00snuh78001bd000u000cnm

36967815j00snuh78001qd000u000jam

Depth则更适合用来控制图像中的景深效果:

83a97577j00snuh780019d000u000cmm

8fa53952j00snuh780022d000t800ism

总的来看,Flux这批官方工具包的效果出色,如果你是AIGC爱好者,必不可错过!

文章涉及的网址:

Flux工具官方网站:
https://blackforestlabs.ai/#get-flux

ComfyUI代码页面:
https://github.com/comfyanonymous/ComfyUI

声明:内容来源公开的各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

AI脱衣服来了,试试虚拟试脱TryOffDiff从照片中获取模特衣服

2024-12-2 10:19:52

教程百科

最强AI绘画开源工具FLUX,本地部署安装教程

2024-12-2 10:39:53

❯
搜索