重视并星标腾讯云开发者

每周4 | 鹅厂一线程序员，为你“试毒”新技术# 第1期 | 腾讯王锐：测评二维码艺术画生成体会

都说AI绘画来势汹汹，但论创意，仍是人类玩得花。下面这几张乍一看平平无奇、却在网上疯传的AI生成图片，你能看出其间隐藏的玄机吗？

建议咱们在手机上手动缩放一下这些图。缩得越小，图片夹带的文字/二维码能展现得更明晰。

还有网友给了其他“认字”诀窍，比方摘下你的近视眼镜：

咱们能够发现，这些图片生成的思路千篇一律——通过光影、上色等等操控手段，确保文字或许二维码作为光影、衣服图画等，融入图画中。

令本人震惊的是，艺术画二维码仍是由几位在校学生运用 ControlNet+StableDiffusion 生成的。后生可畏！他们练习的 ControlNet 生成的二维码图片极具艺术感。二维码不再是经典的黑白格子矩阵，而是被美妙地融合在图片的内容当中。

@倪豪@陈柏宇(时辰) @王照涵 @陈智勇的 QR Code ControlNet 著作

我不由考虑这种图为什么依然是一个可用的二维码呢？怎样才能制造这样的二维码图片呢？遂开始一次小实验。

首先咱们需要快速了解二维码识其他原理。

二维码图片首要包括定位图画（图上的三个大“回”形方框）、中间的点阵数据图画。二维码的扫描进程看上去也很复杂，我看了一下网上的介绍，粗略地将其解码进程总结为：

依据三个定位图画检测以及“摆正”二维码。
将二维码区域转换为灰度图，切分红不重叠的区块，每个区块内独自计算得到一个阈值，高于阈值的为1，小于阈值的为0。
依据必定的规则，从读取的一串010110…数据流中解码得到信息。二维码的编码有必定的冗余，数据流中偶尔几位的0，1被搞混也不会影响解码。

因而，尽管上面这些艺术画二维码看上去不再是黑白格子矩阵，但只要它：

依然包括要害的三个定位图画。
定位图画围住的数据区域有显着的亮暗联系变化，能够被解码为0，1数据流。
数据流中被扰乱的0，1比特还没有那么多，还能被冗余信息恢复。

那么它便是一个二维码。

总结一下：只要二维码的亮暗联系还没被破坏得太多，那就仍是一个可用的二维码？

好的，现在咱们现已知道要害点是保存亮暗联系了，接着一个问题便是，怎么才能制造满足这种亮暗联系的二维码图片？

引子中说到的文章作者并没有透露他们运用的 ControlNet 计划。现网制造这些二维码的计划许多，并且作用上距离还挺显着。

下面我尽量多介绍几种组成艺术画二维码的计划，例如开源社区很快有人提出能够用 tile_resample ControlNet ，来模仿一下相似的作用。

ControlNet 1.1 Tile 是 ControlNet 作者（github: lllyasviel）制造的一个功能相似于弥补细节的 ControlNet。

当被输入丢掉了许多细节纹路的图片（如下面的模糊狗狗图）时：

输出则是一幅正常的细节完善的图片：

利用其补细节这一特性，咱们运用一张包括黑白格子二维码的图片作为 ControlNet 的输入，一起用 ControlNet 的输入当作 img2img 的垫图，即根据 resample ControlNet + img2img，能够搞出相似于下图的作用：

具体来说，用这种图一起当作 img2img 的垫图及 ControlNet 的输入：

在 Stable Diffusion WebUI 的 img2img Tab，设置调整那一系列参数，然后点 Generate 就能够“开盲盒”了。

为了降低咱们“开盲盒”的难度，我这里分享下我运用的 WebUI 参数：

Tony Stark, bruise wounded, wet soaked, water splash, torn apart, ripped clothes, random background vintage, neons lights, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, hyperdetailed, intricately detailed, unreal engine, fantastical, ideal human, high quality, film grain, bokeh, Fujifilm XT3, hyper realisticNegative prompt: ugly, disfigured, low quality, blurry, nsfwSteps: 50, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 3724036266, Size: 768x768, Model hash: 4199bcdd14, Model: revAnimated_v122, Denoising strength: 0.85, Mask blur: 4, ControlNet 1: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 0.8, starting/ending: (0.23, 0.9), resize mode: Just Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 1, 64)"

我用了 revAnimated_v122 模型，Prompt 和 Negative Prompt 现已包括在上面。

最要害的 ControlNet 参数是：

ControlNet 1: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 0.8, starting/ending: (0.23, 0.9), resize mode: Just Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 1, 64)"

这里 weight: 0.8, starting/ending: (0.23, 0.9)，是我首要调整的参数。别离对应了 ControlNet 起效的力度、起效的 diffusion step 开始与结束。这本质上是在调整 ControlNet 在图生图进程中的作用巨细。

ControlNet 作用太大，出来的图格子感太重；反之作用太小，生成图很有可能现已不是二维码了。

当然，你能够预先调整一下输入图的二维码色彩方位，提早组织一下生成成果中二维码大概的色彩和方位。比方把二维码设置成红色，那么你就能得到下面这幅盔甲色彩更为天然的图片。

这种计划我测验了很久，实在体会便是：摸奖的成分很重。

比方上面的钢铁侠二维码，调整好 ControlNet+img2img 参数后，大部分随机数种子对应的图片中钢铁侠的人脸都有黑白格子对应的”污损“：

想得到上面那种脸没有污损的图片，要抽许多随机数种子（随机数选42成果欠好，我试了ヾ(••)o）。

天然而然地，我又有一个问题：有没有办法指定图中人物的方位 or 姿态呢？用多了 WebUI 的开发者，能立马想到再加一个 ControlNet 操控人物的计划（当然我没想到，在 reddit 上盯了半响才学到这个计划）。

这一计划是上面的计划改进版。

ControlNet tile 负责弥补二维码区域的纹路细节，ControlNet OpenPose 负责操控人物方位。

依然是用 Stable Diffusion WebUI 的 img2img tab，但敞开了两个 ControlNet。其间 ControlNet1 是 Openpose：输入图及其供给的火柴人 pose 图如下：

ControlNet2 则是和上一个计划相似的一个带二维码的图片：

依然揭露一下我调出来的 webui 参数，供咱们参考：

futobot, cyborg, ((masterpiece),(best quality),(ultra-detailed), (full body:1.2), 1 female, solo, hood up, upper body, mask, 1 girl, female focus, black gloves, cloak, long sleevesNegative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, nsfw, nipples, (((necklace))), (worst quality, low quality:1.2), watermark, username, signature, text, multiple breasts, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet, single color, ((((ugly)))), (((duplicate))), ((morbid)), ((mutilated)), (((tranny))), (((trans))), (((trannsexual))), (hermaphrodite), extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), (((disfigured))), (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), (missing legs), (((extra arms))), (((extra legs))), mutated hands,(fused fingers), (too many fingers), (((long neck))), (bad body perspect:1.1)Steps: 60, Sampler: DPM++ 2M Karras, CFG scale: 11, Seed: 2912497446, Size: 768x768, Model hash: ed4f26c284, Model: camelliamix25D_v2, Denoising strength: 1, Mask blur: 4, ControlNet 0: "preprocessor: openpose_full, model: control_sd15_openpose [fef5e48e], weight: 1, starting/ending: (0, 1), resize mode: Resize and Fill, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 64, 64)", ControlNet 1: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 0.75, starting/ending: (0.23, 1), resize mode: Resize and Fill, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 1, 64)"

这种计划生成的图片相似于这样：