小红书在短视频范畴初次联合华为HMS Core大规模运用端侧超分技术完结了“同等网络环境下高画质”、“同等画质下省带宽、降卡顿”的体会作用。

在整个落地的进程中小红书与HMS Core做到了联合共建，先后处理了多实例超分、不同View类型（SurfaceView、TextureView等）灵活挑选等一系列问题，结合HUAWEI HiAI Foundation根底结构，充沛利用GPU、NPU等硬件资源，在无明显功用损耗的前提下可以做到实时超分，在相同流量消耗的情况下540p可秒变1080p，传统720p也可在不增加码率的情况下到达720p+的画质体会，真实可以做到在流量有限的情况下刷视频刷到“爽”。

【名词解释】 超分：即超分辨率（Super Resolution，SR），是从给定的低分辨率（Low Resolution，LR）图画中恢复高分辨率（High Resolution，HR）图画的进程。

1.背景介绍

可以在视频消费的进程中让用户花费最少的流量消费到更高清的视频是业内各渠道共有的痛点问题，每个渠道都在全链路各模块经过各种办法来处理这一问题，小红书作为其间的一员，特别作为一个充满高级感（从小红书的用户散布和设备散布就可以看出）的社区渠道，跟着用户经过短视频种草的热度不断提高用户对高清画质的消费诉求也变的越来越大，上述问题变的愈加凸显。

目前各渠道大多经过引进画质修复算法、进步编码功用等方面进行画质提高，在端侧受限于设备功用的影响往往无法引进太多高算力的优化办法，超分等算法也大多是在中长视频中进行尝试，在短视频范畴罕见大规模使用，与此一起，华为HMS Core经过对影像处理才能的不断积累，结合多媒体技术、AI算法和HUAWEI HiAI Foundation，充沛发掘和利用NPU、GPU等硬件资源训练出一套高功用、低功耗的画质增强结构，为渠道在端侧画质提高供给了或许，因而，小红书与HMS Core的合作也水到渠成的拉开了帷幕。

此次端侧超分才能的落地，用户不只得到了实际的受益，小红书也成为了短视频范畴大规模使用软硬件结合的端侧超分才能进行画质提高的第一渠道。

2.业内现有实践

2.1. 端侧画质增强约束

●具有NPU的设备偏少，算力上多依靠CPU和GPU等，算力无法得到充足保障，在低端机上尤为杰出

●功耗问题是困扰各类算法的“老大难”问题，画质提高的一起往往伴跟着高功耗，常常会呈现手机发烫等问题

●机型冗杂（特别是Android设备），设备硬件功用形形色色，适配起来较为困难

●传统算法模型结构单一，很简单进入功用优化深水区，且代码常常与事务代码呈现强耦合，简单形成包巨细问题

2.2. 业内处理问题的几个方向

●端、云协同云端针对视频进行锐化、降噪、提高码率等前置处理，客户端对转码后的视频进行最大程度地还原；

●选用更灵活的办法，如：机器学习等，最大程度地进步核算功率，下降对CPU等的影响

●端侧渲染后处理等

3.小红书处理办法

依据老练架构充沛利用硬件资源完结软硬结合：

凭借华为HMS Core超强算力架构HiAI Foundation加持，充沛利用设备硬件资源，对NPU、GPU等选用不同的训练模型，在进步核算功率的一起显著下降对设备算力的依靠、下降功耗，HUAWEI HIAI Foundation为端侧超分的落地供给了很好地助力，为许多相似端侧画质增强才能的试验供给了无限或许。

初次用NDKMediacodec替换了传统的Java层Mediacodec，并将NDKMediacodec与超分模块进行了交融，最大程度简化了整个超分处理流程：

要想完结超分功用，需求将不同模块进行交融，特别是和整条播映链路的交融，超分的流程依靠于Android的MediaCodec硬解码，常用的做法是在Native层经过JNI调用Java层的MediaCodec类的办法，Java层的MediaCodec类再经过JNI调用Native层的NDK MediaCodec，这虽然是比较常规的用法，可是细细想来还是有一些冗余操作的，特别是C/C++层与Java层经过jni的频繁交互会无形中形成一些处理链路上的耗时，依据这一点，咱们简化了调用的流程将硬解码和超分的流程悉数在Native层完结，避免了与JNI不必要的数据交换，然后最大程度地简化了整个超分流程。

前置视频预处理:

经过降噪、前置滤波等办法对视频进行预处理，到达最佳超分状态。

●针对视频信息进行前置自适应预判，进行超分自适应:

○众所周知，并不是一切的视频都适合超分，不合理的超分有或许会到达得不偿失的作用，甚至会呈现过度锐化、色差、边缘毛刺化等问题，在超分自适应模块，咱们会做超分预判，要点选出一些具有颜色丰厚、帧率适中（60fps以下）、分辨率一般（720p及以下）等特征的视频优先进行超分，整体到达最佳超分作用，针对HDR类的视频不再进行超分。

●经过优化办理办法，完结多view支撑：

○为了完结对不同View（SurfaceView、TextureView等）的支撑，封装了一个专门的资源办理模块，做到View和算法模块资源的统一分配和办理，处理了单一View支撑的问题，为各种形状的事务使用供给了可选项，不只支撑SurfaceView直接上屏，而且支撑超分后旋转、缩放等一系列后处理操作，可灵活适配于不同事务复杂度的场景使用；不同view类型的动态挑选可有用规避色差问题。

●选用动态下发so的机制和热插拔的办法很好地避免了包体积问题和实时更新问题:

为了完结不同方式的超分才能，咱们需求引进不同的动态库，在其他不支撑超分的机型上引进超分模块显然是没有意义的，而且会增加装置包的体积。为了处理这一问题，咱们挑选了对so文件进行动态加载的方案，依据机型和app版别，动态加载对应的so文件，在装置完结翻开小红书使用的时候，后台下载视频超分所需的so文件，并加载到使用中。对于动态库更新的情况，客户端会下载新版别的so文件，而且替换掉原有的so文件，做到资源库的实时更新。

小红书“视频超分”功用自7.48版别上线以来已成功布置到HUAWEI MateX2系列、P50系列、Mate40系列等90多款手机，以及HUAWEI MatePad系列等10多款平板设备上，每天成功服务于数以千万计的用户。

4.展望

小红书与HMS Core在HUAWEI HiAI Foundation上的结合为端侧超分等画质增强才能的落地供给了参阅，也打破了端侧超分不能在短视频范畴大规模使用的“魔咒”，一起为其他渠道的落地可供给有用的参阅，也会以此为契机探究不同设备渠道、不同事务场景的端侧画质才能提高新思路，相信在未来端侧其他画质增强才能依靠软硬件结合的办法会有更多地推广和使用，真实让用户在各种场景特别是中、弱网环境下消费到更流畅的高清画质，让用户真实体会到短视频种草刷到爆的快感。

5.作者信息

泽宇 小红书播映团队负责人

哈里 小红书播映团队开发工程师

洛霖 小红书播映团队开发工程师