AI作画指北 ControlNet ： Hi ，结婚？（发癫）-六虎

碎碎念

之前AI作画用的都是他人直接弄好的，有的是网站，有的是webui。不管哪种形式，我仅作为试用者。

原因无非是：

我的笔记本集显，没GPU，甚至是A卡，CUDA都装不了。
我实验室台式机也无显卡。

那天师兄要给小朋友们讲ControlNet论文，师兄闲着没事自己把WebUI搞起来了，把我喊过去一同看效果。

那天师兄用的那个CheckPoint各方面都特别符合我审美，把我羡慕的，在那围观一下午。

师兄看我好不幸，就把集群的上古服务器（没人用的那种，跑不起来代码那种）给我打开了图形化界面，让我去服务器自己弄一个。

然后我捣鼓了一天，搞出来了完全符合我审美的二次元人物。

效果对比

之前用他人搭好得的：

我自己搞得：

效果不同清楚明了。所以真想要自己喜欢的，还是得自己捣鼓。

所以今日给我们分享一下捣鼓的插件之一ControlNet。

ControlNet 效果

一句话说明ControlNet最简单的效果： 上传一张相片操控你生成人物的动作。

比方：

配合ControlNet造老婆

这个美丽姐姐叫曾黎，中心戏剧学院扮演系1996级本科（她上大学我还没出世）所以你们也能够叫她美丽阿姨，我特别喜欢这样大姐姐的长相，那咱们看看拿她相片丢进模型能出来什么结果：

？谁说的美丽阿姨，我直接 hi 老婆。

当然实际情况是曾黎姐姐至今未婚。已然未婚那我把prompt改成男的，是不是能够原地造老公：

have a try:

看来真的是可行的……

所以结果如下：

别说了。我直接hi 老公，结婚。

至此，我用曾黎姐姐的一张相片，借助ControlNet生成了一组二次元老公老婆照。

效果图我们也看到了，心动不如举动，赶紧用起来：

WebUI如何运用ControlNet

从WebUI extension for ControlNet下载源码：

把你下载的源码放到stable-diffusion-webui/extensions/目录。
下载模型：

lllyasviel/ControlNet at main (huggingface.co)

webui/ControlNet-modules-safetensors Hugging Face

kohya-ss/ControlNet-diff-modules at main (huggingface.co)

从上边任意一个地址里下载模型，放到以下任意一个目录里：

stable-diffusion-webui/models/ControlNet

stable-diffusion-webui/extensions/sd-webui-controlnet-main/models
重启WebUI，开始运用：

勾选Enable让ControlNet收效，那个Preprocessor和Model就是你方才下载的那些模型。那些模型详细能干嘛看我下一部分的简介。

简单介绍一下不同PreProcessor

ControlNet with User Scribbles

control_sd15_scribble你能够直接新建白画布，在上边画线条。模型将你画的作为输入，取得对应的输出。

Source 输入输出

(no preprocessor)

(no preprocessor)
ControlNet with Canny Edge

control_sd15_canny是你供给一张图片，预处理器运用Canny边际检测能够给你提取出边际线，运用这个边际线作为输入，操控生成对应的输出。

Source 输入输出
ControlNet with HED Boundary

control_sd15_hed.pth是你供给一张图片，预处理器取得对应的HED边际检测（软边际），运用这个边际线作为输入，操控生成对应的输出。

Source 输入输出
ControlNet with M-LSD Lines

control_sd15_mlsd.pth是你供给一张图片，预处理器运用M-LSD线检测，运用这个边际线作为输入，操控生成对应的输出。

Source 输入输出
ControlNet with Human Pose

control_sd15_openpose.pth是运用你供给的图片取得对应的姿势骨架图作为输入并生成对应的结果。

Source 输入输出
ControlNet with Depth

control_sd15_depth.pth是你供给一张图片，预处理器会取得对应的运用Midas深度估量作为输入，运用运用Midas深度估量图生成输出图片。

Source 输入输出
ControlNet with Normal Map

control_sd15_normal传入一张图片，生成对应的法线贴图。法线贴图看中心那张图，左面看起来是赤色的，右边看起来是蓝色的，上边看是绿色的，下边看是紫色的。

Source 输入输出