看完这篇文章，你将学会以下无价之宝的内容
1、云端布置（装备不可的小伙伴看）+ 云端模型放置方位
2、本地布置（装备合格的小伙伴看）
3、运用SD练习IP的流程和技巧（LoRA篇）
4、运用SD安稳生成高质量IP海报
众所周知，各大厂现在都在AIGC的范畴探究实践，也有十分多的外部设计师制作了大量的AIGC相关授课，许多同学由于不清楚具体能得到什么价值或许收获而停止了脚步。今日我来为咱们分享一下经过实践探究且落地的Stable diffusion的IP海报生成流程，内容很干请上车坐稳
先来看一下达达骑士IP的作用：
浅看一下IP海报生成进程
V1模型生成
V2模型生成
•V3模型生成
1、云端布置
应该有许多小伙伴苦于没有一个趁手的电脑装备，以及繁琐的本地装备，终究卡在了装备这个环节，今日我将带咱们完结SD的云端布置，看完你就能完美的翻开SD了
1、翻开云端地址：www.autodl.com/home
1、注册登陆后，点击算力市场
2、挑选按量计费、内蒙A区（注：不要选北京区或许需求SHH企业翻开的问题）
3、点击社区镜像
4、输入搜索关键词vel，找到并挑选最新stable-diffusion镜像
5、点击立即创立
6、命名自己的服务器，等候创立完结和开机
7、点击JupyterLab，进入MainUI.ipynb
8、左侧目录下，翻开MainUI.ipynb，点击第一行代码区域，然后点击上方的“运转”三角，显示“移动完结”后刷新页面
9、将右上角python 3，改为xl_env
10、点击第二行代码区域，然后点击上方的“运转”三角，等候功用模块呈现
11、挑选“发动WebUi”，然后勾选前4个常用功用，点击运转WebUi，等候代码运转
12、当看到蓝色的URL时，则表示运转成功了，然后返回AutoDL下自己的服务器
13、点击“自定义服务”，恭喜你成功进入云端SD了
2、云端根底模型的放置方位
1、大模型放置方位：dutodl-tmp——stable-diffusion-webui——models——Stable-diffusion
2、lora放置方位：dutodl-tmp——stable-diffusion-webui——models——Lora
3、VAE放置方位：dutodl-tmp——stable-diffusion-webui——models——VAE
4、ControlNet模型放置方位：dutodl-tmp——stable-diffusion-webui——extensions——sd-webui-controlnet——models
5、起手式方位：dutodl-tmp——stable-diffusion-webui
2、本地布置
秋葉Stable diffusion一键包
百度链接pan.baidu.com/s/1A4xSvlLH…
夸克链接：pan.quark.cn/s/1dd4f17b3…
3、运用SD练习IP的流程和技巧（LoRA篇）
先来介绍一下什么是LoRA
咱们刚接触stable diffusion时，会听到许多专业术语，其中LoRA模型必定是会被提及到的，那么什么是LoRA模型？它有什么作用呢？
LoRA模型全称是：Low-Rank Adaptation of Large Language Models，能够理解为Stable-Diffusion中的一个插件，仅需求少数的数据就能够进行练习的一种模型。在生成图片时，LoRA模型会与大模型结合运用，然后完结对输出图片成果的调整。
举个比方：大模型比方没有修饰过的人物、物品、场景、等；LoRA模型比方是改变人物、物品、场景等内容的形色质构的因素，但仍然在大模型的根柢下。当然LoRA模型不仅仅限制于人物，场景、动漫、风格。
1、练习环境的建立
本地：可下载秋葉SD trainer练习器一键包
云端：AutoDL云端装备，社区镜像中找到Train进行布置
2、练习集处理（图片处理+打标+练习参数）
图片处理
首要咱们需求预备练习的IP（也可所以：物品、场景、风格等），练习图的尺度需求一致，且以64的倍数设置：常用分辨率为512*512、512*768、768*1152。由于假如尺度不一致或不是64的倍数，AI在练习进程会对你的图片进行裁切，导致你想要的画面细节被削减
其次咱们需求有3种类型的图：白底IP图+场景IP结合图+单独场景图，整个练习集的数量能够有多少预备多少，越多越好（可是要确保差异性，重复的动作或角度需求剔除）
打标
当咱们预备好需求AI练习的图以后咱们需求对这些练习图进行描绘，可运用主动打标东西或手动打标（手动打标练习作用会更好） ，预备一个txt文本（确保和你描绘的图片命名一一对应），然后进行详细的描绘，以下是我的一些举例：
在打标描绘里需求注意格局：咱们常用的格局是“触发词”+“自然语言”+“单词”，并且确保全程英文输入，包含标点符号
3、模型练习&参数设置
（注：这儿的参数需求依据自身练习的IP或内容进行调优，存在是错本钱，这儿给咱们科普一些根底）
弥补2个概念：欠拟合、过拟合
过拟合：指AI只会生成你给他提供的练习集内容，比方IP动作、场景、元素、等
欠拟合：指AI生成的内容和你练习集的内容彻底没相关，或许说收敛性很差导致IP不像
根底练习参数
• repeat次数（每张图练习的次数，次数不是越高越高，练习太多会导致过拟合，练习太少会导致欠拟合）
• epoch练习轮数（练习集练习的轮数，轮数不是越高越好，练习太多会导致过拟合，练习太少会导致欠拟合）
• dim值（dim代表了练习的精度）
• alpha值（alpha用于操控模型复杂性和约束性，alpha 必须≤dim）
• learning rate、unet lr、text encoder lr（学习率决定模型学习的程度，影响练习作用，比方安稳性、泛化性、收敛性）
• 练习优化器（自适应优化器和非自适应，决定了AI学习节奏）
练习进程中的观察
需求观察练习的Loss值，Loss值需求成递减状况（正常状况），曲线动摇不易较大。并且需求记录每一次练习的参数和Loss值来分析后续模型调优的方向
4、模型测验
模型测验阶段，咱们需求发动SD，并且运用XYZ轴来测验每个版别的模型调配的LoRA权重，以及大模型，终究沉积出咱们最优版别的模型。
在测验阶段咱们需求围绕着3个核心的点：安稳性、泛化性、以及收敛性进行测验
安稳性：模型是不是在大多数prompt输入下，都能够呈现好的作用
泛化行：生成的内容是不是有AI立异的内容（动作、场景、元素、等）
收敛性：生成的IP以及特征（或其他核心内容）是不是你想要的作用
4、运用SD安稳生成高质量IP海报
1、模型&提示词
生成环境模型主要包含3类，底模、LoRA模型、以及VAE（能够理解为滤镜），咱们能够尝试各种不同的大模型，比方二次元的anything、现在用的最多的Rev、或许真人类的real
提示词分为2部分，正向词为你想要的内容，负向词代表你不想要的内容
正向词：会呈现3种类型：触发词+提示词+LoRA，越靠前的词汇权重就会越高
在生成出好的作用后咱们能够对自己的prompt进行保存
2、采样方法
简单来说，这些采样器是算法，它们在每个过程后获取生成的图画并将其与文本提示恳求的内容进行比较，然后对噪声进行一些更改，直到它逐步到达与文本描绘匹配的图画
常用的采样器如：Euler a、DDIM、DPM++系列，能够依据自己模型来调整尝试出最好的参数
3、采样迭代步数
SD经过从充满噪点的画布开始创立图画，然后逐步去噪以到达终究输出。Steps就是操控这些去噪过程的数量。一般，越高越好，但一般情况下，咱们运用的默认值是20个过程，这其实已经足以生成任何类型的图画
假如在测验新提示希望快速得到理想的构图或成果，可运用15-20steps
当找到承认的seed后，可将过程增加到20-30steps
4、面部修正
面部修正可改进脸部特这个以及细节，让人脸更自然和美观，主张当找到承认的seed后翻开
5、高清修正
经过运用算法,AI能够首要在较低的分辨率下对图片进行部分渲染,然后将其提升到高分辨率，并在高分辨率下添加细节，主张当找到承认的seed后翻开。
常用高清算法如： R-ESRGAN 4x++
6、重绘起伏
能够理解为AI在创作进程中的发散起伏，越高的值会带来越大的创意，反之会更精准。
7、随机种子
Seed能够理解为你生成图的身份ID，每个生成图都有自己的seed，当承认了根底构图以及想要的根底作用后锁定种子，然后完结微调
8、尺度、批次、批数
尺度：一般会以64的倍数去递增，常用尺度在前期承认seed之前会用到512*768，512*512，等
生成批次、每批数量：每批、每次次生成的图画数量，主张在前期找画面之前能够开大数量去抽卡，找到自己想要的画面，然后锁定seed
9、点击生成，完结IP海报（记得记住&保存自己的参数模版）
到这儿咱们整个流程就走完了，接下来咱们就能够不断的生成和立异咱们的IP海报了
最终我想说在AI绘画范畴还有许多需求探究和实践，未来我也会持续与咱们分享更多有价值的内容，假如你也喜欢AIGC的探究能够留言一同沟通一同前进
作者：京东零售徐仲巍
来历：京东云开发者社区 转载请注明来历
