我也不想标题党,可乐高积木版的总部大楼便是好萌啊!

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

我是憨憨,一个不会画画的设计师。过去半年里,AI绘画曾经多次引爆大众评论,网络上那些精美的二次元同人插画、堪比真人的AI穿搭博主、打破次元壁的赛博Coser……背后都有一个“幕后黑手” —— Stable Diffusion,其背后的技能便是人们常说的分散模型(分散模型这个概念源自热力学,在图画生成问题中得以运用)。

想知道上面这些精美的插画是怎样完成的吗?接下来,我将结合这个案例带你走进 Stable Diffusion 的国际,帮你系统性地了解并掌握这奇特AI绘画魔法。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

尽管咱们把这个进程称之为AI绘画,但实际上它并不是像人类画图相同打草稿、构线描边,再去上色、对细节加工……这样按部就班地去完结一幅画作的,它采取了一个人类不曾设想的途径 —— Diffusion(分散)。

一、Diffusion:眼一闭一睁,一张图画好了

有一个十分形象的方法,来解释 Diffusion 的原理。

这是我家的傻狗,你能够将自己的人物带入到履行绘画指令的AI中,现在让你把这幅画用宫崎骏风格从头制作一遍,你做得到吗?你能够测验着把眼睛眯成一条缝去看它(假设你近视能够摘掉自己的眼镜),它是不是变得含糊了?坚持这个状态,幻想着它正在逐步变成动漫里的样子,随后渐渐睁开眼睛……

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

这便是一个分散模型作业的基本流程了。

在这个进程中,AI会将图片经过增加噪声的方法进行“分散”,使它变得含糊,就像是眯起眼睛的你相同,当内容含糊了今后,你就有更充沛的空间去从它原本的形状抽离,而且幻想它是否能变成其他模样。AI经过深度学习的方法,将许多不同的图画都转化成了这样的抽象内容,并逐步开端了解了这个“分散”的进程,每学一张图,它就会经过一些方法提取图画里的信息特征,并和它的原图建立相关。

在方才的比方中,当提到宫崎骏风格的时分,你的脑海里肯定也会跳出跟这类著作相关的风格特质来,由于你看过而且记住,这个时分,咱们开端去幻想它变成动画片里的样子,而且用一个动漫的方法“睁开眼睛”,让图片康复明晰,这便是在对图画进行逆向的分散,也便是去噪。这幅画,就现已被你脑海里关于宫崎骏的幻想从头制作一遍了。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

这一原理,为咱们在AI绘画中的操作供给了理论根底和指导思想。当然,这只是一个简略的比喻,在实在的AI图画生成进程中要远杂乱得多,咱们只需求知道,在SD里边咱们能接触到的各种提示词、模型、controlNet 等,其实操控的都只是AI的学习、转化、去噪进程,而非它一笔一画的动作。

二、一副AI绘画著作 = 提示词 + 参数设置 + 模型

这是 Stable Diffusion webUI,咱们一切的操作都是在这儿完结的。webUI其实只是一个履行的程序,用来屏蔽掉 Stable Diffusion 杂乱的模型和代码操作。当你在阅读器里翻开了这个webUI今后,就能够利用它开端作画了。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

WebUI 上面一整排标签栏对应了不同的功用,做图最常用的是前两个:文生图与图生图,它代表的是两种制作的基本方法,第三个标签的更多主要用于对图片进行AI扩大处理,它能够让你生成更明晰的大图。

看过《哈利波特》的影迷必定会记住,在霍格沃滋的魔法国际里,一个魔咒想要成功发挥,不只需求集中精神念对咒语,还需求一根魔杖,以及正确地挥动魔杖的手势,任何一个步骤呈现过错,都有或许导致魔咒发起的失利,极点状况乃至会被反噬,在AI绘画的魔法国际里也是相似。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

1、提示词:指挥AI作图的咒语

WebUI 中被咱们输入进去的描绘文字或图画信息,便是 Prompts (提示词):用于生成图画的文字输入,需求运用英文输入,但你也能够经过探究 Extensions 来完成中文输入。提示词的涵盖规模很广,能够包含:主体、风格、色彩、质感特色等一些详细要素。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

提示词分成两部分,一部分是正向的提示词,另一部分是反向提示词,分别用来操控你想要在画面里呈现的、想排除在外的内容。

AI 生成出来的东西是具有随机性的,每次生成出来的东西都会不太相同,这个进程就像是在“抽卡”:想出好的图片,得靠运气来抽。 比方:一个女孩在林中漫步,这其实只是一个十分归纳的描绘,这个女孩长什么样子、森林里有什么、时刻是早上还是晚上、气候怎样……这些AI都不知道,提示词太过于抽象,那AI就只能瞎蒙、抽卡了。咱们能够把自己幻想成一个无情的甲方,向AI沟通你的需求、AI需求改进的当地。咱们对AI提的要求其实便是提示词 Prompts ,假设AI没有达到想要的作用,就不断补充、阐明,多试几次总有一次能够抽到想要的作用~

尽管AI是人工智能,但它和人类智慧还是有必定距离的,有时分你会发现即便提示词现已给了许多,自己依然很难向AI表达清楚自己的需求。其实在现实生活里,这种关于需求的传递偏差与过错解读其实也遍及存在着,比方:总是干架的产品经理和程序员、甲方客户与设计师。拿我熟悉的设计举例,假设你是需求方,除了不断对着设计师一遍又一遍的咆哮需求以外,还有什么方法让他快速开窍呢?

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

你能够拿着一张海报或许banner,告诉设计师我想要的感觉是这样的,那他就会更直观、详细的感触到你的想法。AI绘画也是相同,当你觉得提示词不足以表达你的想法,或许希望以一个更为简略明晰的方法传递一些要求的时分,那就再丢一张图片给他就好了。此时,图片的作用和文字是相当的,便是都作为一种信息输送到AI那里,让它拿来生成一张新的图片,这便是图生图。

2、参数设置:操控咒语施放的魔杖

这部分内容介绍一下在AI绘画进程中,webUI里边这些杂乱的参数设置。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

(1)采样算法(Sampler) 简略来说,经过这些采样算法,噪声图画能够逐步变得更明晰。webUI供给的算法选项十分多,包含 Euler a、DPM、DDIM 等。我同享几个咱们常常会用到的:

  • 想运用快速、新颖且质量不错的算法,能够测验 DPM++ 2M Karras,设置 20~30 步;
  • 想要高质量的图画,那么能够考虑运用 DPM++ SDE Karras,设置 10-15 步(核算较慢的采样器)、或许运用 DDIM 求解器,设置 10~15 步;
  • 喜欢稳定、可重现的图画,请防止运用任何原始采样器(SDE 类采样器);
  • Euler、Euler a 比较适合插画风格,出图比较朴素;

(2)采样迭代步数(Steps) 与采样算法配合运用,表示生成图画的步数。步数越大,需求等候的时刻越长。一般 20-30 步就足够了。默许的采样步数一般都是20。假设你的算力足够且想追求更高的详尽度,就设置为30-40,最低不要低于10,否则你或许会被你自己产出的著作吓到。

(3)面部修正 在画人物的时分需求勾选上,他能够改进细节、纠正不准确的特征,让生成的人脸显得愈加自然和美观,相似美图秀秀的一键美颜。

(4)宽度 & 高度 生成图画的宽度和高度分辨率。默许的分辨率是 512 x 512, 但这个分辨率下的图片,哪怕是细节再丰厚,看起来也很含糊,所以设备答应的状况下,咱们一般把它提到1000左右。相同的提示词用更高的分辨率跑出来,质感彻底都不相同。当然,分辨率设置的太高也会有问题,显卡显存扛不住,呈现 “CUDA out of memory”的提示。为了让我的AI绘画有强悍的功用,保证我的出图功率和体会,我运用了京东云GPU云主机,它具有超强的并行核算才能,在深度学习、科学核算、图形图画处理、视频编解码等场景广泛运用,能够供给触手可得的算力,有效缓解核算压力,让我在高清出图时不再有“爆显存”的烦恼。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

(5)平铺/分块(Tiling) 用来生成无缝贴满整个屏幕的、纹理性图片的,假设没有需求稳重勾选哦,它会让你的画面变得很奇怪。

(6)提示词相关性(SFG Scale) CFG Scale 的规模是 1-30,默许值为 7。咱们能够经过调整不同的 Scale 值来调查图画的改变。它的数值越高,AI绘画忠实地反响你提示词的程度就越高,7~12之间是比较安全的数值,数值太高则容易引起图片变形。

(7)随机种子(Seed) 生成图画的随机种子,相似于抽奖的走运种子,会影响生成的图画结果,是咱们用来操控画面内容一致性的重要参数。假设咱们想要画面坚持相同的风格,就能够运用同一个随机种子。在这个随机种子里边,有2个功用按钮,点击右侧的骰子,能够把随机参数设置成-1,每一次都抽一张新的卡;点击中心的循环按钮,就会把种子设置成上一张图片抽出来的数字。

(8)生成批次、每批数量 每批、每次次生成的图画数量,假设显存不够大,主张调小数值。由于AI绘画的不确定性,即便是同一组提示词,也需求重复实验。这个实验进程有时分会很绵长,假设你想让AI一向不断地依照同一组提示词和参数出图,能够测验批次数调高,制作的进程则会不断重复地进行。所以彻底能够让它一口气来上个几十次乃至上百次,自己去吃个饭、睡一觉,让显卡默默地在这儿打黑工。增大 [每批数量] 能够让每批次制作的图画数量增多,理论上功率会更高,但它同一批制作的方法是:把这些图片拼在一同看作一张更大的图片,所以假设你的设备不好,十分容易爆显存。

3、模型:要发挥的魔法品种

AI之所以能满足你的各种奇奇怪怪的需求,其实来历于它对许多其他画作的深度学习,咱们把拿图片给AI学的这个进程,叫做喂图。学习的内容不只包含对详细事物的形象描绘,还包含对他们的呈现方法,说浅显一点,便是“画风”。假设咱们喂给AI的图片都是二次元风格的,那他的国际便是二次元的;假设你喂给AI的图片都是实在国际里的相片,那它就画不出“画”来。咱们“喂”给AI图片以及AI学习的这个进程,会被打包、整合到一个文件里边,他们便是AI绘画中的“模型”:运用不同风格的模型,就能做出不同风格的著作。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

大模型: 在webUI左上角的内容便是咱们常说的大模型,也叫做根底模型,比方sd-v1.5.ckpt,sd官方自带的根底模型。这类模型都是由dreambooth技能,经过大量数据练习,能够生成各类常见元素的图片,一个全能东西,不行缺少,否则sd不能启动,文中的许多图片来自不同的大模型,感兴趣的能够留言一同评论。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

VAE模型: 变分自解码器(Variational Auto Encoder),vae的作用是增强模型的色彩、光照等表现作用,相当于给模型加了美颜滤镜。所以假设你发现你的模型做的图发灰,检查一下vae文件是否勾选。目前多数比较新的模型,其实都现已把VAE整合进大模型文件里了,多数模型作者都会推荐他们以为合适的VAE,也有一些遍及适用于大多数模型的VAE,例如 kf-f8-anime。

下载途径:一个是HuggingFace,它是一个答运用户同享AI学习模型和数据集的渠道,包含的内容十分广,不只要AI绘画,也包含许多其他AI范畴的内容,因而呈现出了比较高的专业门槛;另一个是Civitai,俗称C站,它是一个专业的AI绘画模型同享渠道,在这儿看到的各种模型展现是十分图画化、详细化的,而且在C站阅读、下载模型均不需求注册。

实际上模型不止Checkpoint一种,接下来再为你介绍3种用来微调主模型的”小模型”。

(1)Lora 模型: 最近最火爆的模型,最大的特色便是简直图画上的信息它都能够练习,而且复原度十分高。现在网络上盛行的许多Ai真人绘图软件基本都是用的Lora模型。Lora模型主要用于固定图片风格,由于这类模型具有容易练习、对电脑装备要求低等特色,因而运用Lora练习的人更多。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

比方上面这张图,运用的lora模型是LegoAlrev,它能够让咱们的总部大楼呈现出乐高积木的风格。

目前LoRa主要运用特色是各种游戏、动漫人物的二次创作构建,由于练习LoRa需求针对一个目标的各个方面的资料,假设是人物,那就需求不同姿态、不同表情、乃至是不同画风的东西,来协助AI固定里边的特征。一些热门的ACG人物往往具有充沛的资料可供练习,出来的作用是十分不错的。

(2)Embeddings模型: 又叫Textual Inversion模型,需求和主模型一同搭配运用,能够简略了解为提词打包模型,体积一般只要几十kb。能够生成特定人物的特征、风格或许画风。

假设说checkpoint是一本大字典,那Embeddings就像是字典里边的一片小书签,它能够精准的指向个别字、词的意义,然后供给一个极其高效的索引。这种索引方法,除了能帮AI更好地画好字典里现已有的东西以外,有时分也能够帮咱们完成特定形象的呈现。比方:咱们想让AI画一只“猫又”,字典里尽管没有直接记载猫又这种比较偏僻的概念,但它知道“猫”怎样画、知道“人”怎样画,也或许知道“妖怪”怎样画,那咱们就在字典上记有这些概念的页面里,分别夹上一片夺目的书签,那AI一听到“猫又”,就直接翻到这几页,把里边的信息汇总到一同,就知道“猫又”是个什么东西了。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

(3)Hypernetwork模型: 相同需求搭配主模型一同运用,它最常用于画风、作用的转化,也能够用于生成指定的人物。比较 Embeddings 和 LoRa 来看,网上多数研讨者对Hypernetwork在图画生成方面的点评并不好,而且它的作用其实是能够部分被LoRa替代的,现在也有不少优秀的LoRa经过对练习样本的把控完成了画风的塑造植入,我平时用的不多,所以这儿就不过多介绍了。

三、高清扩大-回绝低质量的出图

在webUI里,有一系列功用是专门为乐优化产出图画质量,让咱们获得更大、更高清的图片而存在的,例如高分辨率修正、Upscale脚本,以及附加功用中的图片扩大算法,他们的本质都是把低分辨率的图片再拿去“图生图”一次,然后得到一张更大的图片。

在方才的生成的图片中,它的画面看上去还挺精美,但由于分辨率低,导致了一些细节的缺失和紊乱,这儿咱们运用 Upscale脚本来完成高清扩大。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

把它从图库阅读器加载至图生图,一切的生成参数会主动同步过来,为了获得和原图比较相似的作用,操控重绘起伏在0.4左右。在参数设置区域的最下方,有一个用于加载脚本的选项,挑选扩大脚本,缩放系数相当于扩大倍数,扩大算法决议了在将这个低分辨率的版别“打回重画”的时分AI怎样操作。图块堆叠的像素(Tile overlap)挑选64,宽度和高度在原有根底上各加64,设置完结后点击生成就能够了。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

这个进程制作方法很奇妙,它是经过把这张图均匀的切成4块去画的,画完今后再拼回到一同。假设只是机械地拼成4块,那相邻图块之间的接缝处肯定会呈现十分僵硬的过渡边际,方才设置的64像素堆叠便是来处理这个问题的,它是一个缓冲带,能够让4块区域“拼合”的进程变得愈加丝滑。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

四、部分重绘-对画作的自在修正

分散算法给图画生成带来了无限的或许性,却也有许多不行预估的问题,例如人物四肢的紊乱、景象的错位等等。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

咱们抽取到一张盲盒风格的公司总部大楼,但是还想在这个根底上再做改进:草地上多一些花,咱们能够借助关键词、并借助随机种子固定画面,但这样必定会碰到两个问题:首要,即便随机种子彻底一致,当提示词发生改变时,这个新的随机进程也是相对不行控的,就或许会呈现人换了姿态、画面大幅改变的状况;另一方面,假设图片现现已过了高清修正或许upscale扩大,这意味着要从头画一张十分大的图,消耗时刻就更长了。咱们对这张图99%都是满足的,重画一张值得吗?咱们试着把这1%独自拎出来处理一下,这时咱们能够用部分重绘这个功用。

部分重绘就像咱们写作业时运用的涂改液、修正带相同,它能够针对一张大图里的某一个区域覆盖重画,既能修正过错,又不至于把整张纸撕掉重画一遍。

将一张图拎出来进行部分重绘的方法有许多,最简略的便是在图库阅读器里直接点击右下角的部分重绘按钮,它会跳转到图生图,由于部分重绘属于图生图的一个部属分支功用。也能够经过图片区域上方的标签切换到部分重绘(inPaint),在这儿除了能够加载用AI画出来的图以外,还能够运用电脑上的其他资料图片。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

有一个小小的改变:当你把鼠标移动到图片区域上时,会呈现一个画笔,运用它能够在图片上涂出黑色区域,覆盖住想要AI重画的当地。右上角有两个按钮,吊销、调节画笔的笔触大小。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

这儿边有一个“蒙版”的概念,蒙版是图画处理范畴的专业名词,泛指一些用以限制处理区域的规模目标,字面意义上了解便是一个蒙住了某些关键区域的版子,假设你学过PS,对这个概念必定不会生疏。在这儿咱们画笔涂出来的黑色,也是一个这样的蒙版。蒙版蒙住的内容,能够想像是把这一小块拿给AI图生图的时分,它接收到的信息。

在重绘的进程中,整张图片都经历了一个从头加噪并去噪的进程,相当于把这一块拿出来独自“图生图”一下,终究再拼回到原图里。用这种方法,就能够自在的指挥AI针对画面内部的各个区域做独自的修正了,而想要进一步的把控修正的细节,就需求调整部分重绘参数,他们会详细决议这个重绘进程的一些完成方法。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

[原图] 便是原图的内容,而假设你想给AI多一点发挥空间,能够选填充,这样会把原图高度含糊今后再输入进去生成,后面两种触及潜变量、潜空间的生成方法原理比较杂乱,简略的说便是把这个图生图的进程进一步杂乱化了,加入了加噪、去噪的进程,理论上对图画的改变会更显着,你能够试一下。

重绘区域的 [全图] 和 [仅蒙版] 是AI针对你的画面做处理时的一个逻辑,假设选全图,那么AI会根据你新的要求(提示词、参数)把整张图从头画一遍,但终究只保存画出来的这一块区域拼回去;假设挑选的是仅蒙版,那画面画幅会缩小到蒙版区域邻近,把这个区域当作一张完整的画面,然会再拼回去,这种方法触及的区域小,制作速度很快,但由于它没法读取图画全貌,所以常常呈现拼上去今后变得奇奇怪怪的问题。因而,多数时分我都会主张你把“格式翻开”。

这不是说 [仅蒙版] 的重绘就一点价值也没有,一些针对性强的修正反而会希望缩小图片画幅,但这个时分你需求下降重绘起伏防止变形,而且对提示词做净化处理。

仅蒙版形式的 [边际预留像素],和上面扩大时提到过的“拼合缓冲带”作用相似,这儿不再赘述了。

[蒙版含糊] 决议了你的这个重绘区域边际和其他部分是怎样接触的,这个和PS里边“羽化”的概念十分像,一个10以内的含糊数值能够让重绘区域拼接进去的进程愈加丝滑。

恭喜你!现已看完了90%的内容,能够的话给我个 一键三连 吧~

五、ControlNet-AI绘画的工业革命

本年2月,一款名叫ControlNet的AI绘画插件横空出世,固定构图、定义姿态、描绘概括,单凭线稿就能生成一张丰满精美的插画。ControlNet 翻译过来便是“操控网”,开发者是一位叫做Lvmin Zhang的华裔,早在2017年,他就发表过一篇论文研讨运用增强型残差U-Net与辅助分类器生成对抗网络来完成动漫素描的风格搬迁。他第一篇关于ControlNet的研评论文发表在23年2月10号,几天后就将适配于webUI的ControlNet扩展开源在了GitHub上,一经公开就引发了重磅评论。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

上文提到,根据分散模型的”AI绘画”是十分难以操控的,去分散这张图片的进程充满了随机性,假设只是用于自娱自乐,那这种随机性并不会带来很大的困扰,画出来的内容和预想中有一点偏差也能够接受,但一些真实面临详细“需求”的时分,假设不能做到准确的“操控”,只能依赖“抽卡”式的重复测验来得到想要的东西,那AI的产出水平是缺少稳定性的,也绝对无法称之为一个真实的生产力。ControlNet以一种近乎降维打击的方法完成了许多史无前例的操控,我个人觉得,它的呈现直接把SD提高到了能够大规模商用的高度,然后拉开了同 Midjourney 的距离。

在作用原理上,ControlNet和LoRA有许多相似之处,定位都是对大分散模型做微调的额外网络,它的核心作用是根据一些额外输入给它的信息来给分散模型的生成供给清晰的指引,这个进程和图生图有点像,本质上都是在经过一些方法给AI供给额外的信息,但ControlNet记录的信息比图生图里的图片更为纯粹,排除了图片自身的元素——比方上面已有的色彩、线条的影响,那就不会对其他你想要经过提示词、LoRA等去输入的信息构成太多影响。

目前有许多做ControlNet的模型,这儿结合一开端的案例介绍一下Canny。

Canny是一个最重要的模型,它来自于图画处理范畴里的一种边际检测算法,致力于辨认并提取出图画里边的边际特征。Canny简直能够被运用在任何需求复原图画外形特征的场景里,比方画一只狗狗、一辆汽车,这些杂乱形象经过它们的外形得到了辨认,那Canny就会把这种外形特征运用线条勾勒出来,在生成的时分操控图画复原。假设你的图画里包含了一些需求准确表达的内容,例如文字、标识,运用Canny能够有效确保它不变形。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

输入一张图片,挑选Canny预处理器和模型,它只要一种处理手法,没有那么花里胡哨,点击“爆破”,处理出来的线条图是这样一幅有点草膏味道的黑底白线线条图。运用Canny进程中,假设有些线条无法被辨认出来,那能够考虑恰当下降下面两个Threshold(阈值)的数值,它能将更多明暗差异不是那么显着的线条辨认进来,然后让形体愈加准确。但注意,线条也不能过于密集了,否则生成出来的图画或许会有许多无用的小细节,显得有点“脏”。

就像提示词不怕越加越多、多个LoRA模型能够依照不同权重一同运用,ControlNet也能够把几种不同的模型“混合”在一同,然后完成愈加精准的操控。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

在设置里边,找到ControlNet的设置选项,在里边有一个多重ControlNet(MultiControlNet)的最大模型数量,默许值是1,你能够将它调大-保存-重启webUI,你的ControlNet就变得稍微不相同了:本来只要一组ControlNet选项,但现在上面冒出来几个新的“Unit”, 你能够在里边装备彻底不同的预处理器和模型组,也能够运用彻底不相同的图片作为输入信息:一个经典的组合是 lineart + brightness,完成构思字体作用,更多杂乱的玩法,你能够自行测验~欢迎与咱们一同探究炼丹之术❤️

看到这儿你应该开端慌了,ControlNet现已有了15种不同的操控模型,而他们光是两两组合,就会有超过100种实际运用,但其实,并不是随便2个凑一同就必定行的,这儿边组合的关键就在于你需求让他们存在必定程度的“互补”,让一个网络帮另一个网络完成那些它做不到的事情。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

ControlNet的开展很快,只凭记忆力去追逐它,如同骑着同享单车去追高铁相同望尘莫及,但无论是看起来一丝不苟的Onenpose、Depth,还是天马行空的HED、Scribble,又或许完成创新性部分重绘的inPaint模型、在扩大作业流中用于增加细节的Tile模型,以及前不久刚发布用于固定特征的Reference Only……它们都是在某些方面协助咱们去对AI施加一些用语言、文字不是那么好传达的“操控”,而从严格到宽松,操控效应的强弱在改变,终究塑造图画的方法也会有差异。只要看清ControlNet的本质,预处理器和模型作用的根本关系,以及在这中心给AI施加“操控”的标准,你就具有了自在去探究任何一种ControlNet的才能。

六、替代你的不是AI,而是比你更会用AI的人

在AI绘画诞生以来,围绕它的评论和争议从来没有中止过,有人以为它会“替代”设计师,对职业形成冲击;有人不了解他的生成方法,以为它始终是一个“玩具”……随着AI的快速进化,AI绘画现已从一种实验性的新技能,变成了一个具有无限潜力的新式生产力,并开端被职业遍及接受。网易、腾讯等大厂体会设计团队都现已开端运用AI提高作业功率,并不断探究新的或许性。

我知道此时的你在忧虑什么,Stable Diffusion的架构如此杂乱,让许多没有代码根底的小白望而却步。为了让我们更低门槛的体会在云端“高兴作画”,我为你制作了系统镜像,里边内置了 Stable Diffusion 及主动补全提示词等一系列好用的插件,还下载好了几款目前社区里比较火的模型,真实做到开箱即用。

购买方法十分简略,在京东云官网下单后买GPU标准型(12C48G P40),现在购买立项新人19.9元/7天的1折体会价。

糟了糟了,总部被SD画完都Q了,这篇深入浅出贴助你早日实现Stable Diffusion自由 | 京东云技术团队

运用方法:1、注册时挑选 [AI绘画 Stable Diffusion 镜像];2、公网IP请求及绑定 ;3、依照镜像运用阐明 开启端口、启动服务,然后就能够在阅读器内拜访 [IP+7860端口],即可进入SD的魔法国际。假设你还有疑问,能够评论区留言交流。

看到这儿,这篇帖子也进入了结尾,感谢你的时刻,让这篇帖子变得有意义❤️。在AI绘画这个范畴,咱们能够探究的常识和运用场景还有许多,在接下来的日子里,我也将继续与你同享。

作者:京东科技 叶楠

来历:京东云开发者社区