咱们好，我是EpicGames中国的技术美术孙丹璐，今日为咱们带来的共享是Metahuman原理及流程浅析。
现在数字人是个十分火热的题材，不论是游戏、影视、直播、工业、广告等领域都有着许多需求。可是传统数字人的制造在设备，人力和时刻成本上都十分昂扬的，每个流程，每一个环节比方扫描人物、绑定，动捕和面捕进行驱动，也都需求必定的技术门槛才干到达的。所以在市面上的大多数案例中，比方咱们看到的AAA游戏中，依据成本，一般只要有限的主角会选用完好的高精度数字人作用，其他人物的精度都相对低许多。
依据此，咱们供给了一套计划叫做MetaHuman Creator，快速和容易地创立独特高保真的数字人类的东西，你能够直接操作面部特征，调整肤色，而且从预设的身体类型、发型、服饰等规模中挑选，在metahuman中甚至能够修正人物的牙齿，在人物制造完结后，你的人物会包含完好的绑定并能够直接在虚幻引擎或许maya中制造动画。
为了到达零门槛创立数字人，可见即所得的方针，咱们供给了依据Epic生态的三个套件进行协同作业，经过MHC快速在线制造数字人，运用Quixel Bridge导出数字人，在虚幻引擎中应用到游戏或许影视当中。
我想先为咱们展现下经过MHC进行捏人，MHC依托于网络，经过Pixel Streaming在网页端交互运用，在这个视频演示中，我捏出一个全新的数字人物实际只用了4分钟，咱们能够看到操作也很直观易懂，上手门槛十分低。在捏脸的部分，面部混合供给三种形式
第一种是混合形式，最粗粒度的捏脸，经过左上方的混合圈，添加3~6个人物区进行插值，你每操控一个特征点进行捏脸，便是采样这几个预设人物的特征点去做插值。
第二种形式是移动形式，依照五官划分了特征点，在这个形式下能够快速的修正五官。
第三种形式是雕琢东西，是Creator供给的最细粒度的东西，能够针对最小特征点，比方鼻尖，来区进行细节调整，Creator中咱们需求注意到这儿的雕琢和Zbrush中的雕琢是存在一些不同，MHC中的雕琢, 是经过你希望雕琢的形状，在基因库中索引一组面部特征点再进行融合。别的Creator中常见的一个误区是，移动和雕琢东西，实际上与你左上角预设好的几个人物是无关的。它移动和雕琢都是在整个基因库中进行索引，并不依赖于左上角预设好的人物。
别的，其实移动东西和雕琢东西，是能够逐个对应起来的，比方移动形式的眉弓处控件，对应的是雕琢东西下 ，眉心、眉头、眉峰、眉尾、这四个特征点。
别的在Creator中也能够调整肤色和纹路细节，皮肤的纹路选项不但能够添加脸部表面的细节，也会对面部的形状产生影响，比方皱纹关于面部形状其实是有一个形变的。
Creator中也供给了相对灵敏的妆容设置，比方粉底，眼影和眼线，各部位的腮红、口红，能够进一步削减用户关于数字人物进行二次修正的需求和开支。
在身体的塑造上，MHC供给了预设好的18种体型进行挑选，头部现在并不会随着身体的高度或体型挑选主动的产生改动。所以其实有的时分你挑选体型之后，或许看起来身体和头的比例有些奇怪，所以咱们供给了头部缩放功用。
头部的缩放并不是彻底等比缩放，而是会更符合人体特征，你能够看到，你现在缩放头部的时分，你的脖子并不会随之无限的增粗，这样缩放也能较好的处理头颈和身体的衔接。
咱们来看下MHC背后的技术，首要咱们会经过4D扫描许多的现实人类面部，经过人工和ML处理数据，提取出每个人物的特征点信息，存入一个叫做DNA的数据格式中，而DNA用于描绘人物的外观、骨骼绑定，终究咱们把这些信息存放到GenePool中，GenePool是咱们的一个数据库，用户每一下捏脸操作，实际上便是在GenePool的数据库中进行索引，混合，终究依据你捏好的数字人物，也会生成一份绝无仅有的DNA数据。
在体型方面，选用了传统流程制造的体型。首要是现在咱们还没有较为完善的身体数据库，所以没有办法和头部相同能够融合不同体型的特征点来捏体型，别的现在咱们也不供给运用缩放进行任意的体型调整的设置，首要原因是全体作用不能合格，比方说部分调整过体型之后，你的身体和脖子的接缝处并不是一个很优点理，别的服饰也是很大的问题，部分放过的身体很难做到布料贴合。
在纹路方面，皮肤的纹路是经过扫描数据中的纹路进行组成来生成制造，以确保到达更实在的作用，扫描的纹路别离成低、中、高频率的细节纹路，用于在Creator中自定义的混合，而其他当地运用的纹路，则运用更传统的管道去进行制造。
别的MHC是一个依据云端的APP，咱们把MHC放在了云端。首要是由于以上数据量，尤其是面部GenePool和纹路数据的数据量十分十分巨大的，而且未来会不断扩大，单就数据量和运算压力恐怕不太合适放在个人电脑进步行运算，所以咱们选用了依据云端的计划，一起云端还有个优点，更新迭代很快，许多问题和改进能够直接后台完结，不需求每一位用户都进行频频的更新。为了把云端的MHC输送到浏览器，咱们选用了Pixel streaming，Pixel streaming是一个依据虚幻引擎的流送技术，在云端服务器上运转虚幻引擎应用程序，经过WebRTC将烘托的帧和音频流送到浏览器和移动设备，不知道咱们有没有意识到，运用了pixel streaming意味着，后台跑的也是虚幻引擎，在云端的虚幻引擎中制造数字人，导出到本地的虚幻引擎里进行运用，一切参数，模型，毛发，布料，纹路，原料，LOD参数都能够逐个匹配，这是真实的所见即所得。
从MHC捏好之后，就能够经过Bridge下载你制造的数字人物了，翻开Bridge能够看到Metahuman的分栏，里边会实时更新你捏的MH，在Bridge需求装备你希望下载的纹路分辨率。在点击download的时分，会有一个主动过程是生成，生成是依据捏人时分设置的数据，比方皮肤，以及download设置的参数，依据这些数据生成纹路和LOD，由于后台跑的是虚幻引擎，所以模型以及骨骼的LOD，都是依据规矩，运用引擎内LOD减面和骨骼LOD剔除达到的，而关于毛发的LOD，为了确保作用，是手动生成的插片和模型LOD，MetaHuman的财物生成或许需求一点时刻来处理，这首要取决于所挑选的财物是什么，它们的纹路分辨率以及你现在的网速，还有便是会考虑到你现在的Bridge队列中有多少财物需求生成，均匀来说，假如你下载的是一个有1K纹路的MetaHuman，需求大约20分钟来生成和下载。
在下载的时分挑选的纹路分辨率，并不是一个绝对分辨率，而是一个指引的分辨率，也便是说假如挑选下载8K的，实际上只要奉献最大的normal和cavity纹路是8K的，而皮肤albedo是2K的. 这其实和皮肤自身的特性有关，一般SSS皮肤散射的作用接近于低频的滤波，作用有点相似于blur之后的纹路，所以albedo的高频细节自身就会被SSS的shading特性抹掉，咱们对albedo的奉献做了作用和效率上的评估，发现8K 4K的albedo相关于2K的作用改进几乎是肉眼不行差异的，所以在这儿运用了2K的分辨率。而roughness纹路，是运用虚幻中一个自带流程将法线转换为粗糙度，经过Bridge导出能够导出到maya和虚幻引擎中，接下来咱们来剖析在虚幻引擎中的MH。
导入引擎后，会有一个专门的Metahuman文件夹，关于一切Metahuman生成的数字人物来说，无论是男性仍是女性，有些财物内容都是共通的，咱们把这些存储在MetaHuman/Common文件夹中，而每个人特有的财物则存储在相应姓名的文件夹下。
坐落Metahuman文件夹下，Metahuman的身体各部件会以一个蓝图组合到一起，包含躯干，面部，面部各种毛发，出于功用和作用的平衡，而且为了适配不同的平台，不论躯干仍是毛发，都有自己的LOD信息。
比方头部咱们设置了8层LOD，咱们为每层LOD设置了必定规矩，每层LOD都有独立的，极点量、blendshape、关节数、动画纹路、蒙皮影响等差异，blendshape由于功用开支比较高，所以从LOD1开端就没有在运用，而纹路动画则是由于需求读入的纹路十分多，所以LOD2开端没有在用，当然从屏幕上看这些头部，或许LOD3或许LOD4开端 ，之后的作用会显得有点粗糙，可是LOD的挑选必定是要归纳考虑到屏占比来去衡量作用的。
比方我在对应LOD的屏占比上去截了这三张图，分别是拉到最近时分的LOD0，中间隔看到全身时分会切换到的LOD3，以及远间隔切换到的LOD7。
我在相同间隔下，把模型强制按LOD0烘托作为比照，也便是图上现在新增的LOD3和LOD7旁边的对应的头部和全身，能够看到两者的差异并不是特别大，也便是在这样的间隔下，在这样的屏占比下，LOD切换关于画面的作用并不会影响太大，LOD其实不光是关于功用有提升，关于画面作用也是会有必定改进的，比方咱们常见的画面失真摩尔纹，引入LOD就能够改进这种状况。
这是身体模型的LOD数据，身体只要4层LOD，以画面上的裤子为例LOD0是有一万五千面左右，而LOD4 大概是一千五百面左右。
关于骨骼而言，骨骼模型的LOD能够许多削减skinning的开支，可是他还需求骨骼的LOD，骨骼的LOD能够很大削减动画Evaluation中采样、插值、混合的开支。那么身体骨骼LOD0是150根骨骼，LOD4是55根骨骼。
咱们其实注意到，每个不同的部分或许LOD层数不一起，比方说方才的头部是8层LOD，而身体的LOD只要4层，一起要考虑到，由于身体和头部的屏占比不一起，所以计算出来的LOD也会不一起。那就会导致作用上呈现一些不匹配的问题，比方身体和头部的接缝处没有办法彻底匹配，或许说，咱们考虑毛发的话，屏占比很小的眉毛groom或许永久没有办法烘托到LOD0，而只要很近处才需求的汗毛groom，却由于围住盒是整个面部，所以会在中间隔处也会烘托到LOD0，这是一个功用上的浪费。那么为了处理这个状况，引擎参加了LODSync component，经过装备LODSync component在这儿面装备不同部位的奉献和计算方法，能够让不同部位也能够做到同享一套LOD。
由于时刻联系，或许没有办法剖析引擎中metahuman每一个细节，下面我会以相对静态和动态财物为差异，结合可伸缩性，首要介绍下面几个首要的部分。
首要是毛发，毛发包含：头发，眉毛，面部的绒毛，睫毛以及胡子。
毛发选用了引擎的Groom毛发体系，这儿不会细翻开groom自身，而是介绍Groom关于Metahuman的一些处理，以及值得注意的当地。
Groom毛发的一切LOD，不论是插片仍是mesh，都运用同一个母原料。
毛发的原料参数与MHC中的参数是逐个对应，能够看作MHC的“翻开版别”。比方能够看到原料中，有红色素，黑色素，假如你在MHC调整头发色彩的时分注意过，这些参数便是MHC中的调整参数及数值。
别的Groom毛发的参数是经过Hair Attributes传入到毛发原料中的。
将深度纹路输入到hair attributes的方法，是在groom asset中，cards分页下指定对应纹路，比方说深度纹路，一般输送到插片毛发中是会用于、pixel、depth、offset，他是改进头发与头皮交叉的作用，别的是Coverage用于毛发的opacity，里边比较特殊的是Attribute纹路，Attribute纹路对应的是Root UV和Seed，Seed也便是毛发的unique ID，一般是用于在原料中加强头发的发丝感。
咱们知道，后续咱们会为移动端添加多种shading model,可是当时移动端还不支撑，所以当时只能fall back到default lit。
毛发在作用上是有必定特殊性的，他根本上来自于两个大的功用，一方面来源于毛发的各向异性特性，别的一个是层层毛发会具有必定的透射散射，那为了改进移动端的作用，毛发原料中为移动端独自添加了各向异性的作用，便是现在截图中的这一段，至于毛发透射散射的部分，由于移动端只选用了一级LOD选用插片毛发，其他都是Mesh毛发，在mesh毛发上比较难以体现毛发间细腻的透射散射，所以归纳考量，咱们并没有在移动端去处理这块。
方才其实是多种shading model，可是都写在同一个原料中，这其实是源于引擎最近几个版别供给的新机制，原料体系并不确定整个原料的shading model，而是把shading model作为一个参数去进行一个输入，然后不同的material attribute输入到不同的feature level下，这样子就能够做到一个原料完成针对不同平台，依照不同的shading model去进行烘托。
毛发的多级LOD，Groom, 插片，mesh，这些不同形状的财物是经过Groom文件中的LOD体系结合到一起，经过LOD分页，能够对这些LOD进行统一管理。
这是MH毛发的LOD数据，LOD 0–1 运用strand based hair，一般用于高端平台，比方说次世代主机和高端PC，LOD 2–4 依据插片毛发，LOD 5-7 是依据简化的mesh毛发。
这是MH中一个人物的毛发LOD展现，咱们能够看到其实有几层由于面数比较少，所以会变得稀少。
这个处理计划之一是运用遮罩纹路放在头顶皮肤，引擎也供给了对应东西，便是说右键groom asset, 能够生成毛囊纹路，此外，关于十分短的短发，其实并不合适创立插片或许mesh来做为LOD，这个时分也能够经过groom asset生成发束纹路，等会讲到皮肤，咱们也会说到这张发束纹路。
皮肤和头发的设计是有一些相似的：比方只要一个原料财物。原料属性与MHC中是逐个对应的，在中高端设备上，皮肤的烘托形式选用了Burley SSS，移动端由于没有这样的shading model，所以会主动回退到Default Lit。
皮肤的纹路方面，特殊点在于有一套表情纹路，是一个基础姿势和三个表情姿势，经过在做表情时融合表情纹路，它能够进步全体的细节作用。
表情纹路首要用于描绘皮肤在表情比较大、皮肤褶皱比较深的时分的形状，比方左图是基础姿势,右图是努力抬眉毛或许脑门，有明显抬头纹时的形状。
能够看到，表情纹路会用到许多的纹路数，因此关于带宽和烘托都会造成必定压力，移动端是没有运用表情纹路的。
关于皮肤，除了制造皮肤自身的作用和妆容信息，有时分还需求制造毛囊或许发束，比方说演示的这个人物，头发十分短，头发是没有制造插片毛发或许Mesh毛发而是把短发的发束纹路，制造到了皮肤的头皮部位。
头皮上制造短发和毛囊的这张纹路，便是经过方才说到的Groom asset生成的发束纹路。
上面介绍的groom毛发，还有皮肤都是引擎中已有的机制，或许许多用过虚拟引擎开发的同学都现已十分了解了，下面侧重介绍下表情。
为了完成数字人物实在可信的表情，metahuman选用了骨骼形变，blendshape原料中参加表情纹路的混合计划，表情自身来自于骨骼形变，而blendshape用于补充细微肌肉细节，表情纹路首要用于加强皮肤呈现褶皱时分的体现，咱们或许还记得，在metahuman面部LOD0有600多根骨骼，一起又要确保不同LOD的体现根本一起，还要操控这三套参数，全体加起来是十分复杂繁琐的。所以咱们选用了来自3Lateral的Rig Logic体系，Rig Logic是一个十分十分复杂的规矩集，能够从简略的输入来驱动数以千计的Blendshape和骨骼，表情纹路，Rig Logic运作需求一些模型的额定信息，比方说模型的特征数据，以及模型的rigging行为，供给这个数据的，便是咱们在一开端说到的每个模型独有的DNA文件，DNA文件用于描绘人物的外观和骨骼绑定，依据这些，即使是不同的metahuman面部的骨骼，蒙皮，面数等信息有所差异。也能够经过运用这样一套的RigLogic，用一套驱动数据驱动一切metahuman的表情，你不需求对每一个人物都去从头的制造。
假如你在引擎中翻开模型头部，能够看到details中有指定了一个DNA asset文件，这个文件来源于你在捏脸的时分，依据捏脸的数据生成的，DNA 文件是与捏的MH逐个对应的联系。别的假如你把metahuman导出到Maya中，也会看到提示，是否要安装RigLogic，包含指定这套DNA。
RigLogic驱动表情选用的是RigLogic表情曲线，每个RigLogic表情曲线, 对应一组骨骼和blendshape还有表情纹路。
比方我经过sequence生成这样一个打哈气的表情，生成好之后是依据你K的数据，生成了RigLogic表情曲线，而RigLogic表情曲线再进一步驱动骨骼，blendshape，以及你的表情纹路，而且这套曲线能够在动画中二次调整，你能够看到我方才改动这条曲线，模型会随之发送改动，别的Rig logic表情曲线在runtime下也能够做出调整。
方才说到面部表情是由骨骼、blendshape、面部表情纹路一起构成，关于基础的面部表情都是依据骨骼的blendshape奉献细微的肌肉改动。表情纹路奉献做表情时皮肤的褶皱，关于面部表情的品质，这儿做了个简略的比照，从左到右分别是LOD0，1，2，4，除了面数和纹路自身精度的下降导致的影响外，表情方面，最左面是包含一切信息的表情，也便是说骨骼、blendshape、表情纹路这些一切信息的表情，第二张去除了blendshape的奉献，第三张去除了表情纹路的奉献。那么能够看到，比照起来，第二张和第一张的差异不是那么大，只在眼周有一点点微小的改动，而关于第三张和第二张的比照其实差别是蛮大的，她的鱼尾纹都会消失掉，也便是说对终究品质而言，大多时分表情纹路的奉献是大于blendshape的。第四张是相关于第三张做了进一步的减面，自身的面数只要1400面，一起也没有表情纹路的改进，在表情的体现上会弱一些。那么在引擎中制造表情，不论是经过录制或许是手调，都是经过Control Rig操作RigLogic表情曲线来做到的，咱们来看下Metahuman中的Control Rig。
Metahuman中，Control Rig能够认为是分为了3个绑定分层，首要是木偶绑定，也便是MetaHuman的第一个绑定分层，用于动画师经过Control Rig来发明动画和表情的。
身体和面部的Control Rig都坐落Common文件夹下，翻开能够看到完好的ControlRig完成，身体Control Rig是比较常规，是直接驱动骨骼，而面部的Control Rig则是驱动Rig Logic 表情曲线。
当然关于动画师而言，不太需求重视Control Rig的完成，实际需求的仍是一套好用的K动画东西，关于动画师在引擎中K动画，运用方法也很简略，便是直接把人物蓝图或许人物拖到sequencer中，由于模型身上有Control Rig信息，就会主动呈现身体和面部的Control Rig界面，关于身体而言，你还能够用Metahuman中预设好的Editor Utility Widget，快速挑选Control Rig以及切换 IK FK。
关于面部Control Rig，Face Control Rig中分为三块，一块是用于面部捕捉的backwards solve，一块是forwards solve，也便是用于咱们在sequencer中K动画，别的还又一个比较小的模块是setup event中添加了一个眼部重视点的模块，由于方才介绍了面部表情是十分复杂的，面部的Control Rig是驱动Rig Logic 表情曲线，Rig Logic这套体系会依据模型对应的DNA asset信息，把Rig Logic 表情曲线映射到blendshape和面部骨骼以及动画纹路上。
关于面部咱们供给了一套预设好的Control Rig面板，这儿做个简略的操作演示，在这儿每个操控器对应一组肌肉群，别的面部Control Rig供给了watch的小模块，你的眼睛会一直盯着这个模块，在模块移动时不止眼球会不断产生转变，眼周的肌肉也会做出正确的改动。
别的咱们也供给了一套简易的面部Control Rig，直接依附在面部上，这样能够更直观的进行表情制造。
假如你是为了在游戏中运用，在Sequencer用Control Rig作好动画后，为了功用考虑，最好把K好的数据以动画文件生成出来，引擎默认供给了这样的东西，右键模型，能够生成animation文件，身体的animation保存是骨骼的transform信息，而面部的animation, 保存的是rig logic表情曲线。
接下来是Control Rig的第二个绑定分层，变形绑定 ：变形绑定用于驱动一切的旋转和结构关节，模型身上会指定post process animation blueprint，运转一套用于runtime的Control Rig。
以头部为例，运用了RigLogic在runtime运转，这儿允许各种动画接口驱动或许运转RigLogic表情曲线，形成终究的面部表情动画。
终究一个绑定分层是服饰，服饰首要是选用Control Rig来去修正体现，但也不是每一个服饰体现都会用Control Rig，比方说连帽衫的帽线和脖子后方的帽子褶皱，其实是选用了Rigid Body作为物理模仿计划。
在身体骨骼方面，为了体现更实在可信，相关于之前咱们比较了解的小白人，MetaHuman的身体骨骼方面添加了一些额定的关节，添加的这些关节大多数是肢体结尾的叶子关节或是辅助关节，根本只会影响到体现，可是需求额定注意的是添加了额定的脊椎关节，这样会导致骨骼层级有所改动，所以假如要复用小白人制造的动画财物的话，是需求做一个重定向的操作。
关于肢体结尾关节，咱们关于手指的骨骼进行了一个细化，别的添加了新的脚趾关节。
方才说到假如你想要让metahuman复用商场中依据小白人制造的动画，你需求重定向的操作，重定向的话，你是需求从头制定脊椎骨骼的映射联系，关于其他的新增骨骼部分，由于小白人没有对应骨骼，就会跳过这节骨骼的计算，所以并不会受到影响。
终究还有两点补充，表情DCC只能运用maya，而不能运用motion builder和3Dmax，这其实是由于3Lateral自己内部一直运用的maya，也就只要针对maya的RigLogic插件，所以假如需求在DCC中制造表情，由于依赖于rig logic，所以只能运用有rig logic插件的Maya。其次是咱们主张把Maya作为动画制造东西，而不是修正东西，我知道，其实许多用户希望能去二次修正metahuman,咱们实际上是不引荐这么做的，原因在之前也说到过，修正模型或许会让你模型的DNA文件是没有办法做到彻底匹配的，然后rig logic驱动的表情依赖于DNA，可是他经过这样的驱动的话，会呈现一些不那么匹配的状况，所以在有一些表情下边会看起来有些假，所以咱们引荐的流程是只要Maya作为动画制造东西。当然我也知道现在社区中现已有许多人做过尝试，用RigLogic驱动自己的模型，能够看到真人的部分和非真人的作用仍是很棒的，这儿挑选了两个来自中国开发者的共享。
这是来自北理工数字表演与仿实在验室的尝试，他们有一套自己的扫描人物库。
这是David Jiang的共享，他运用的是自己创造的兽人形象。可是这儿仍然要着重，其实咱们并不引荐这样的流程，能够给咱们共享的是咱们其实也在内部感知到客户的这样的需求，所以咱们也在活跃的尝试这件事，不远的未来会给咱们供给一套更灵敏的捏脸包含二次修正的一个机制。
谢谢咱们，今日我的共享就到这儿。
Q & A
Q1:为什么Metahuman Creator捏不出明星脸的亚裔女性
孙丹璐：由于Metahuman Creator中的捏脸，取决于数据库中扫描的人脸数据，现在虽然数据库中亚裔是占了四分之一，可是由于疫情原因，全体数据库的总量并不是特别大，所以有些脸型或许面部特征并没有收录到库中，那么这些脸型和面部特征就比较难捏出来了，那么依据此，其实在应用方面，尤其是游戏行业的应用，咱们更主张把Metahuman Creator用于捏群众脸的NPC上面，现在 咱们第一优先级便是扩大数据库，而且咱们会搜集这些数据来源掩盖各个行业与民族，争夺添加更多类型的数据特征到这个库中。
Q2:Metahuman Creator为什么不建立本地库？
孙丹璐：其实这个问题在方才的讲演中现已简略说到过了，先是这个数据库 数据库中的数据是十分十分巨大的，你在捏脸的时分需求处理的数据量也十分大，那么 考虑到你的硬盘或许是内存 cpu和gpu的运算压力，它都是十分大的 关于电脑的装备要求是很高的，咱们的希望是让每个用户都能比较低门槛的去打造数字人，这个低门槛当然也包含了硬件设备，别的便是Metahuman仍是一个相对早期的状态，它的更新迭代是比较快的，直接放在云端能够防止每个用户去频频的进行更新，首要是出于以上这两个考虑，咱们终究把Metahuman Creator放在了云端。图片
