写在前面
这两天,ControlNet把AIGC圈刷屏了.
ControlNet是由Style2Paints的作者,张吕敏提出的一个根据diffusion的神经网络架构.该网络首先对输入的图片进行线稿辨认,然后再根据该线稿进行上色.相比于传统的AIGC,ControlNet能提供极其稳定的操控作用.
ControlNet很好的处理了文生图大模型的关键问题: 单纯的关键词的操控方法无法满足对细节操控的需求. 例如AIGC广为诟病的『手指』问题,能够经过线稿操控完美处理:
AIGC:我总算能画好手指了!
ControlNet 大大提升了AIGC的下限,处理了AIGC最大的一个难题:生成图片可控性问题. 在ControlNet的帮助下,AIGC在画面细节层面的处理才能得到了极大的增强,且输出成果极其稳定.
喜爱什么颜色都能够\~
对于游戏工业来说,ControlNet到来之前,AIGC产生的图可能只能停留在概念原型图阶段,可是ControlNet出现后,AIGC生成的图片直接用在游戏中也并非不可能!
笔者以为,ControlNet的出现使AIGC距离游戏工业化大规模运用又进了一大步.
ControlNet才能介绍
ControlNet的作者把每一种不同类别的输入别离练习了模型, 目前共提供了8种模型,别离是: canny, depth, hed, mlsd, normal, openpose, scribble, seg. 以下别离进行介绍.
canny(线稿模型)
线稿画师福音! 经过从原始图片中边际检测, 提取线稿, 来生成相同构图的画面.
妈妈再也不用担心我不会上色了!
作者由于版权原因未公开的一个模型作用
Depth(深度图模型)
经过提取原始图片中的深度信息，能够生成具有相同深度结构的图。
Lora+ControlNet:任何人物,任何姿态都给你办到!
ControlNet不改变任何结构的图生图!
用简略的建模生成精美的游戏场景!
Hed(软边际)
相似canny,可是边际处理更详尽. 相对于运用普通的 img2img ，边际线提取的方法能够生成愈加清晰完整的图，黑色描边也得到了很好的重绘。
Scribble(涂鸦)
自由度更大
OpenPose(人物动作)
人物动作pose检测, 用于人物动作生成. 对人物设计和动画非常有利 ,应该很快会看到在影视/游戏中的运用.(现已有人拿这个做mmd了)
图片来源: twitter.com/toyxyz3/sta…
图片来源:twitter.com/DiffusionPi…;
Normal(法线贴图)
用于3d模型中法线贴图生成,能够得到normal图一致的模型.
MLSD(线段辨认)
线段辨认,对直线辨认较好,适用于修建场景
Seg(语义分割)
用于对图画进行语义分割辨认, ai能更好的理解每个部分是什么, 适用于敞开国际风景生成
ControlNet技能原理
ControlNet 是一种经过增加额外condition来操控分散模型的神经网络结构.
它将神经网络块的权重仿制一份副本, 并区分为“确定”模块和“可练习”模块.
“可练习”的模块能够学习条件限制(condition), “确定”的模块则会保留模型参数.
因而, 运用小型图画对数据集进行练习不会损坏原始的分散模型.
在上图中,“零卷积”是 11 卷积, 权重和偏差(bias)都初始化为零.
在练习之前, 所有零卷积输出零, ControlNet 不会造成任何任何改动,每一层都是根据fine-tuning进行练习
这答应在小规模乃至个人设备上进行训练, 一起对于模型/权重/块/层的合并/替换/偏移也很友爱.
在Stable Diffusion中, ControlNet就是对练习网络进行了14次相同的操作.
更多技能细节请参阅原论文
ControlNet运用
值得一提的是,国内最大的图片分享网站,花瓣网,也在2月18日上线了一款根据ControlNet的运用:『稿定AI』,帮助设计师更好的完成”再画一版”的需求. 该运用选用了ControlNet的3大模型: canny, scribble和openpose. Base model应该是用的anything系列. 有爱好的小伙伴能够体验一番:www.gaoding.com/ai
写在最终
ControlNet大大加强了Stable diffusion生成图片的稳定性,使其生成图能更好的满足美术的要求,进而在产业中落地.
从2022年8月Stable diffusion开源以来,AIGC一直在快速演进中,每个月都会有天翻地覆的新技能出现,一起技能迭代越来越快.AI的才能也在肉眼可见的变强.从最开能一眼辨认ai作图,到现在的真假难分.
作为一名游戏从业者,笔者信任,AIGC很快就会为游戏行业带来革新,也等待未来有愈加优秀的技能出现.
附录
ControlNet项目地址：github.com/lllyasviel/…
ControlNet 的 WebUI 扩展：github.com/Mikubill/sd…
模型下载（5G）huggingface.co/lllyasviel/…
模型下载（700mb）huggingface.co/webui/Contr…
