丰色 发自 凹非寺
量子位 | 大众号 QbitAI
Stable Diffusion插件、“AI绘画细节操控大师”ControlNet迎来重磅更新：
只需运用文本提示词，就能在坚持图画主体特征的前提下，任意修改图画细节。
比方给美人从头发到衣服都换身造型，表情更亲和一点：
抑或是让模特从香甜邻家女孩切换到高冷御姐，身体和头部的朝向、背景都换个花样儿：
——不论细节怎样修改，原图的“魂灵”都还在。
除了这种风格，动漫类型的它也能驾御得适可而止：
来自推特的AI规划博主@sundyme就称：
作用比幻想得要好！
只需求一张参阅图就能完结以上改动，部分图片几乎能够到达定制大模型的作用了。
咳咳，各位AI绘画圈的朋友们，打起精神来，又有好玩的了。
（ps. 榜首三张作用图来自油管博主@Olivio Sarikas，第二张来自推特博主@sundyme）
ControlNet上新：保存原图画风的修图功用
以上更新内容，其实指的是一个叫做 “reference-only” 的预处理器。
它不需求任何操控模型，直接运用参阅图片就能引导扩散。
作者介绍，这个功用其实类似于“inpaint”功用，但不会让图画崩坏。
（Inpaint是Stable Diffusion web UI中的一个局部重绘功用，能够将不满意、也便是被手艺遮罩的当地进行从头制作。）
一些资深玩家或许都知道一个trick，便是用inpaint来进行图画扩散。
比方你有一张512×512的狗的图画，然后想用同一只狗生成另一张512×512的图画。
这时你就能够将512×512的狗图画和512×512的空白图画连接到一张1024×512的图画中，然后运用inpaint功用，mask掉空白的512×512部分，漫射出具有相似外观的狗的形象。
在这个过程中，因为图画只是简单粗犷的进行拼接，加上还会出现失真现象，所以作用一般都不尽如人意。
有了“reference-only”就不相同了：
它能够将SD（即“Stable Diffusion”）的注意力层直接链接就任何独立的图画，方便SD直接读取这些图画作为参阅。
也便是说，现在你想要在坚持原图风格的前提下进行修改，运用提示词直接在原图上就能操作。
如官方示例图将一只静立的小狗改成奔跑动作：
你只需求将你的ControlNet升级到1.1.153版别以上，然后挑选“reference-only”作为预处理器，上传狗的图片，输入提示词“a dog running on grassland, best quality……”，SD就只会用你的这张图作为参阅进行修改了。
网友：ControlNet迄今最好的一个功用
“reference-only”功用一出，有不少网友就上手体验了。
有人称这是ControlNet迄今为止最棒的一个功用：
传一张带有人物姿态的动漫图片，再写一句看上去跟原图完全无关的提示。突然之间，你想要的作用就在原图的基础上跑出来了。真的很强，乃至说是到达了改动游戏规则的程度。
还有人称：
是时候把曾经丢弃的废图都捡回来从头修正一下了。
当然，以为它也不是那么完美也有（比方开头榜首张作用图里美人的耳环不对，二张图里头发也都是残缺的），但网友还是表示“总归方向是对了”。
以下是三位推特博主尝试的作用，主要都是动漫风，一同赏识一下：
△来自@br_d，左一为原图
△来自@br_d，上一为原图
△来自@uoyuki667，左一为原图
有没有戳中你的心巴？
参阅链接：
[1]github.com/Mikubill/sd…
[2]twitter.com/sundyme/sta…
[3]twitter.com/uoyuki667/s…
[4]twitter.com/br_d/status…
[5]twitter.com/aiilustnews…
—完—
