从这一节开端开端咱们正式开端学习 SD (Stable Diffusion)

榜首节咱们从 Web UI 开端解说

依据运用最多的 文生图 模块来解说

一、WEB UI 页面

假如你运用是

【5 分钟快速上手体会 AI 绘画】 中介绍的 Kaggle 建立的 SD,

那么你进入到 web ui 页面后能够看到下面这个页面

Stable Diffusion 文生图全网最细详解

其中:

  • 模型挑选: 模型关于 SD 绘图来说十分重要,不同的模型类型、质量会很大程度的决议最终的出图作用(模型相关的课程会在后边细讲)
  • Prompt区: 假如你运用过 ChatGPT 你应该知道 Prompt 是什么。说的直白点便是你想让 SD 帮忙生成什么样的图,反向 Prompt 便是你不想让 SD 出世的图里有这些东西。后续课程也会详细的解说怎么更好的编写 Prompt
  • 功用栏: 包含了常见的 文生图、图生图、模型获取、模型练习等功用。不同的功用页面也不同,这一节课,咱们先针对最长运用的 文生图 模块页面来解说
  • 采样区: 选用什么样的绘画方法算法,以及“画多少笔” 来绘图。必定程度上决议出图的质量
  • 调参区: 设置分辨率、每次出图的批次、出图抽象性(和 prompt 关联性的程度)
  • 脚本区: 经过装备脚本能够进步效率;比方批量出图、多参数的出图作用比较(课程中会很多运用)

接下来会进一步的介绍每个模块的运用。

二、模型挑选

直白点说,

模型便是“模型练习师”们经过很多的图片进行练习得到的具有某种风格的模型。

咱们运用某个模型后,

后续在出图的整体方向就会更接近这个模型的风格。

你安装好之后默许能够看到两个模型

  • anything : 二次元风格模型
  • Deliberate:真人风格模型

引荐的网站:

C站:civitai.com/ 需求魔法

www.aigodlike.com/ 假如没有魔法的话能够试试 这个 也不错

huggingface.co/

三、Prompt 区

假如你学习过怎么更好的编写 ChatGPT 的 prompt,

你会发现 Prompt 的编写都会恪守必定的范式,

这样得出来的作用才或许更贴近咱们的想法。

挑选完模型之后,

咱们就能够给予这个模型风格,

告知 SD prompt 画出什么样的图。

比方:直接告知 SD 画一个女孩

Stable Diffusion 文生图全网最细详解

虽然能出来一个 女孩,

emmm… 但是这个质量吧,仍是很差的,

实事上呢,

是咱们的 prompt 写的太差劲了 导致的

假如咱们完善一点 (丰富一些 prompt )

会发现作用质量马到成功;而咱们只是加入了一些通用的 prompt 提示语

Stable Diffusion 文生图全网最细详解

  • 正向的 prompt: 说白便是要高画质、更多的细节
 (masterpiece:1,2), best quality, masterpiece,best detail face
  • 反向的 prompt: 不要少臂膀断腿,要是一个正常的图
(((NSFW))), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

其中的一些细节,

比方 提示语的语法格式、公式、权重、模版和tag大全,咱们会在 prompt 和 tag 课程中细讲

有个比较有意思的 反向 tag 叫 NSFW(no sutiable for work)

一般状况尽量把这个加入到反向词中,特别是工作场合。不然惊喜或许随时都会呈现(各种18+)…

想想在工作的时分,你信誓旦旦给你的同事来一张漂亮的小姐姐,成果…..

假如你不太信的话,能够直接把 NSFW 放在正向里边试试…

四、采样区

采样区做的事便是,咱们该用什么样的采样方法来画,画多少笔(多详尽)

1.采样方法

因为采样方法的原理比较深奥,涉及到很多的算法,我直接给定论,

我愈加引荐运用下面这三个:

  • Euler a
  • DDIM
  • DPM ++ 2M Karras

咱们能够试试这三个不同采样方法的作用

Stable Diffusion 文生图全网最细详解

整体的质量是十分好的,出图速度相对也会快很多

2. 采样步数

采样步数适当所以作画的时分画多少笔。

同样的也是先给定论,主张在 20-40之间,出图作用会更好。并不是越高越好

来看看作用

Stable Diffusion 文生图全网最细详解

会发现步数到了60其实也还好,

但一起需求考虑到性价比,步数越高也就意味着耗费的资源会越多,对机器的装备会更高。

所以一般咱们的步数设置到 20-40之间就能够了。

接着上节课,咱们继续解说 Stable Diffusion Web UI 的运用。

这节课咱们会解说 面部修正,高清修正和调参区的内容

五、脸部修正

面部修正的适用在画真人、三次元的场景,特别是在画全身的时分

一般在画全身,因为脸部占比的空间比较小,那么制作出来的作用就会比较差

1.面部修正

SD 支撑直接一键进行脸部修正,但这作用或许不是十分好,也不是最终方案

举个例子:

模型挑选:Realistic Vision V2.0 (怎么下载模型能够参照课程

在没有敞开面部修正的状况,脸部十分不自然(特别是在画全身的时分)

Stable Diffusion 文生图全网最细详解

敞开面部修正后:

Stable Diffusion 文生图全网最细详解

出图的作用,脸部就自然了十分多

Stable Diffusion 文生图全网最细详解

2.高清修正

高清修正的原理适当所以把原分辨率的图扩大进行制作,

制作结束后再做一个还原,然后达到脸部的优化。

这样关于电脑的资源耗费会更大。

Stable Diffusion 文生图全网最细详解

其中有几个参数能够来说说:

  • 扩大算法: 这块能够直接给定论;咱们假如要改善真人、三次元的脸部直接运用 R-ESRGAN 4x+ ;假如是二次元的运用 R-ESRGAN 4x+ Anime6B
  • 高清修正采样次数: 主张直接给0,表明直接运用原有出图的采样步数即可
  • 重绘幅度(Denoising): “放飞程度“,在修正的时分和原图的相似关系,越小表明越相似,越大最后的图就和原图没啥关系了
  • 扩大倍率: 一般给到2倍即可。太大基本上电脑装备吃不消

咱们能够来看看运用高清修正后优化的姿态:

Stable Diffusion 文生图全网最细详解

耗时要远大于不修正的出图时刻,

但是作用也是比一般的面部修正要好。

主要是能够依据自己的需求调理参数。

假如咱们把重绘幅度拉满,

会发现和原图就不太像了,甚至会…. Emmm..

Stable Diffusion 文生图全网最细详解

六、调参区

前面讲到的模型决议了出图的大方向

Prompt 决议了最终的图是什么样

调参区 则决议了一次出多少张图,分辨率以及随机性

Stable Diffusion 文生图全网最细详解

1.分辨率 高度&宽度

1.1 怎么设置适宜的巨细

当咱们默许进入 SD Web UI 页面后的默许高度和宽度便是 512*512.

这是因为归纳各方面来说这个分辨率的性价比是最高的

  • 在 SD 的开始模型 SD 1.5 练习的图片的分辨率大部分都是 512*512,所以在出图的时分,这个分辨率的作用也是最好的
  • 依据功能的考量,512*512 能够比较好的满意质量的要求。关于机器的装备的要求也能适中。假如分辨率设置的比较大,那么电脑的显卡或许就会崩掉,导致SD报错

考虑到SD的开始模型几乎都是 512*512 ,

所以咱们想要比较好的作用的时分,

至少应该要有个参数是在 512-768 之前,

这样出图的质量都能够得到保证。

设置的分辨率是:768*320

Stable Diffusion 文生图全网最细详解

Stable Diffusion 文生图全网最细详解

1.2.妙用画身体

咱们能够来思考一个问题,假如画一个全身的人出来?

榜首反响是不是便是在 prompt 里边提出来对吧?

加上 full body ,咱们能够来看看作用

Stable Diffusion 文生图全网最细详解

出来的作用空间感很差,

为了不呈现拉伸的状况,SD 会自动的做一些裁剪。

所以,咱们能够调整分辨率来实现画全身的场景

Stable Diffusion 文生图全网最细详解

Stable Diffusion 文生图全网最细详解

这个看起来是不是就十分完美了!

当想要画全身的时分能够考虑用这种方法。

当然了,仔细的同学们会发现,手指仍是有问题,咱们后续会讲到怎么优化!

2.批次VS每批数量

Stable Diffusion 文生图全网最细详解

这个就很好了解了

(适当于有一个马路,生成批次决议了有几辆车按次序经过,每批数量决议了有几个车道能够并行经过)

  • 生成批次:能够了解成点击一次生成会循环生成多少个数量的图
  • 每批数量:表明一个批次里一次生成多少张图(一批会有一个概览图)

Stable Diffusion 文生图全网最细详解

那咱们挑选哪种方法批量出图呢?

假如你的装备比较高,那么能够运用 每批数量 的方法出图,会更快。

否则就加大批次,每一批生成一个

七、随机种子 DNA

1.随机种子

或许会有同学发现前面咱们出的图几乎都是一个姿态。

只要纤细的不同,这个便是固定了随机种子导致的。

默许随机种子的值是 -1,表明每次出图都会随机一个种子,依据这个种子进行出图。

假如咱们想要固定某个形象,那么把对应种子的值填在这,那么每次出图的作用大致都会一样。

Stable Diffusion 文生图全网最细详解

2.差异种子

假如咱们点开更多,会发现还有更多参数

  • 随机种子会和差异种子进行交融
  • 差异强度:交融后的作用到底更偏向随机种子仍是差异种子;假如是0,那么适当于没有设置差异种子;假如是1那么适当所以没有设置随机种子

Stable Diffusion 文生图全网最细详解