ControlNet介绍

这段时刻技术圈最抢手的关键词便是AI了,相信最佳咱们都有玩过了Stable Diffusion这个AI绘画开源库了,而其间Stable Diffusion web UI是关于Stable Diffusion扩展的网页版开源库。

而ControlNet则为最近一段时刻的WebUI开源插件,听说作者是个20多岁的华人哦,真是天才啊!尽管img2img功能也能够让真人图片二次元化,但是有了ControlNet则会更加简略做出你想要的效果,如其名所言,Control!

本文就不介绍如何装置以上的开源库了,想要了解更多这方面信息,能够在谈论里面留言,我看到后来回复,让咱们一起来享用开源带来的趣味吧~_~。

简略实用介绍

先来给咱们看一个效果图

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。
这张图左边的小姐姐是从网络上找来的原图,中间和右边则是经过ControlNet来帮忙生成的图片

我这儿运用的Counterfeit-V2.5这个CheckPoint,这个相对来说还是比较抢手的,用来做二次元图简直YYDS。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

而且我并没有参加过多的Prompt,都是一些简略的,这儿我能够提供一个做参考。

a woman, 20 age , smile , blonde,((masterpiece,best quality))1girl, solo, white skirt,long hair, off shoulder sweater, sideways, strapless

没有用到Negative Prompt。

关于Prompt其实我也是处于学习阶段,上面的提示语我都是在翻译里面输入中文,然后翻译过来的。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

其实便是原图上的信息,只不过我把头发色彩改了。

再加上一些能够提高图片质量的提示语,能够在CheckPoint示例图里面找。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

详细操作

进入WebUI的txt2img选项卡,成功装置ControlNet后,在中间找到ControlNet操作界面,打开它就能够用啦。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

这儿我先把原图参加进去,这儿挑选的原图最好是高清或许比较明晰的,我试过用含糊的图片去做,效果不怎么抱负。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

这儿咱们要把Enable勾上才算是真实的运用ControlNet哦!

Preprocessor为预处理,便是把原图转化为一张草图,能够理解为是一张参考图。Model才是生成图片的时分处理的一种形式。这两个最好是挑选同一种类型。这儿我用的都是Canny,依据官网的介绍,便是描绘图片的边际了,有点类似素描勾勒。

假如想看预处理效果,能够点一下左下角的Preview annotator result按钮

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

原图周围就会多出一张预处理的图片。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

这个时分二话不说先来试试生成一张图看看效果,如同不是很抱负哦。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

这个时分你看一下底下设置的Annotator resolution,遇到上面的状况,能够试着调整这个参数。详细原因为什么也不是很请求,可能是这个插件的bug,也有可能是webui的。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

我一般的调整方法便是检查原图的巨细,然后依据原图拍巨细来设置。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

这儿我挑选以图片的宽来设定。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

生成预处理图片后,这儿打开开发能够看到生成图片分辨率有点挨近原图。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

那么究竟设置Annotator resolution,应该设置多大呢?

在 ControlNet 中,Annotator resolution 是指标示工具用来标示数据时所选用的分辨率。详细来说,Annotator resolution 决定了标示工具所显现的图画分辨率,以及标示结果的精度。

在 ControlNet 中,Annotator resolution 关于标示数据的质量和准确性有很大的影响。假如 Annotator resolution 过低,标示结果可能会失真或许缺失细节;假如 Annotator resolution 过高,标示作业可能会变得繁琐和耗时。

因而,在进行标示作业时,需求依据详细的任务和数据特色挑选适宜的 Annotator resolution。一般来说,假如数据分辨率较高,能够选用较高的 Annotator resolution,以保证标示结果的准确性和细节;假如数据分辨率较低,能够选用较低的 Annotator resolution,以提高标示作业的功率和速度。一起,还需求考虑标示工具的性能和实践运用状况,以找到最适合的 Annotator resolution。

我自己尝试了一些,设置过大的值,细节反而没那么多。调节恰当即可。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

最后我挑选了608,生成成功了。

Stable Diffusion使用ControlNet的一些小技巧,真人二次元化。

剩下的调整一下图片宽高就能够了

总结

Stable Diffusion是一个适当强大工具,插件丰富、模型很多,可玩性非常大。

期望咱们能够从中得到趣味,也欢迎谈论讨论。