本文首发于微信大众号 CVHub，不得以任何方式转载到其它平台，仅供学习沟通，违者必究！
本文正在参与 人工智能创作者扶持方案
序言
作为一名合格的研制人员，咱们需求时间了解在技能的最新进展方面坚持领先地位的重要性，特别是人工智能这种瞬息万变的职业。在这篇文章中，咱们将为咱们介绍一个强大的 AI 模型，经过训练能够根据提供的图画进行高质量恢复。运用此模型，你只需上传要恢复的图画，它就会显着进步图画质量！
话不多说，先上一张效果图：
导读
受光照、监控探头自身的像素、聚焦区域以及人体运动的限制，人脸图画一般会模糊甚至变形。另一方面，盲人脸恢复(Blind face restoration 自身就是一个极具挑战性且高度不适定问题(ill-posed problem)。
这里可能很多读者不了解这个专业词汇，笔者为咱们科普下。适定问题(well-posed problem)和不适定问题(ill-posed problem)均是数学范畴的术语。前者需满意三个基本条件，若有一个不满意则可称为不适定问题：
条件一: a solution exists，即有必要存在解；
条件二：the solution is unique，即解有必要唯；
条件三：the solution’s behavior changes continuously with the initial conditions，解能根据初始条件接连变化，不会发生跳变，即解有必要稳定
因此，这一般需求恰当的辅助引导(先验)来完结，主要有两种方式：
- 改进从退化输入到所需输出的映射；
- 弥补输入中丢掉的高质量细节。
传闻马赛克是阻碍人类进步的绊脚石，今天小编将肩负重任为咱们介绍的是人脸恢复人气之王——CodeFormer，you南洋理工大学S-Lab实验室宣布在 NeurIPS 2022 的一篇著作。这是一种根据 Transformer 的猜测网络，能够对低质量人脸的大局组成和上下文进行建模以进行编码猜测，即使在输入信息严重缺失的情况下也能恢复出与目标人脸十分接近的自然人脸图画。此外，为了增强对不同退化的适应性，本文还提出了一个可控的特征转化模块(controllable feature transformation module)，答应在保真度和质量之间进行灵敏的权衡。得益于带有丰厚先验的 codebook 和网络全体的大局建模能力，CodeFormer 在质量和保真度方面都一直优于最先进的技能，显示出卓越的退化鲁棒性。最终，对组成和实在国际数据集的广泛实验结果也充沛验证了本文办法的有效性。
办法
上图为 CodeFormer 的全体架构图，下面简单介绍下：
首要，学习一个离散的 codebook 和一个解码器，经过自重构学习来存储面部图画的高质量视觉部分。
其次，运用固定好的的 codebook 和解码器，随后引进一个用于编码序列猜测的 Transformer 模块，对低质量输入的大局人脸组成进行建模。
最终，可控特征转化模块用于控制从低质量编码器(LQ Encoder)到解码器的信息流。
需求留意的是，此连接是可选的，在恰当的情况下咱们也能够禁用它以防止在输入严重退化时发生晦气影响，并且能够调整标量权重(scalar weight) ww 以权衡质量和保真度。
效果
Face Restoration
Face Color Enhancement
Face Inpainting
实操教程
现在有几种方式供咱们运用。
第一种是直接上 Github 依照 README 文档装备环境，加载模型权重推理，懂的都懂，此处省略。
第二种是经过 Web端直接访问，作者已将该模型打包至抱抱脸平台上，有爱好的读者能够直接线上运用。
第三种是经过 GUI 可视化界面直接在本地运转，无惧隐私走漏，无须安装装备编译环境，一键运转。
写在最终
假如您也对人工智能和计算机视觉全栈范畴感爱好，强烈推荐您重视有料、有趣、有爱的大众号『CVHub』，每日为咱们带来精品原创、多范畴、有深度的前沿科技论文解读及工业成熟解决方案！欢迎扫码与我沟通，一同探讨更多有趣的论题！
本文正在参与 人工智能创作者扶持方案
