本文首发于微信大众号 CVHub,不得以任何形式转载到其它渠道,仅供学习沟通,违者必究!

本文正在参加 人工智能创作者扶持计划

背景介绍

在正式开讲之前,先给咱们小段热舞:

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

姿势估量,核算机视觉的中心使命之一,复原纷乱外表之下的空间信息,洞察千姿百态背后的本征结构。

MMPose 作为 OpenMMLab 开源算法体系中的姿势估量算法库,自 2020 年发布以来,经过 2 年的不断迭代打磨,已经成为姿势估量范畴掩盖算法最多,功能最全的开源算法库之一。

近年来,前沿姿势估量算法不断迭代,在揭露数据集上的功能屡创新高(目前姿势估量的 SOTA 算法精度已经在 MS COCO 数据集上超过了 80% AP),但在工业界的实际事务中,干流使用的依然是几年前的算法。明明有前沿的 SOTA 算法和模型,然而在实在的事务中却很难落地,工业界的小伙伴们只能望洋兴叹。为什么呢?

这一切的原因都在于,这些算法都太慢了!沉重的核算量与昂扬的延迟,意味着昂贵的硬件与成本,而移动端和各种边缘设备因为算力自身受限,算法精度又会一落千丈。更何况,很多使用自身就对算法实时性有着极高的要求。

RTMPose,正是为此而来。随着 MMPose 1.0 的发布,为了让 MMPose 能够在更多事务场景和产品中协助到咱们,MMPose 团队要点推进了业界可用的高功能算法的研发,经过悉心酝酿与砥砺打磨,RTMPose 终于来啦!

经过研究多人姿势估量算法的五个方面:范式、骨干网络、定位算法、练习策略和布置推理,咱们的 RTMPose-m 模型在 COCO 上达到 75.8%AP 的同时,能在 Intel i7-11700 CPU 上用 ONNXRuntime 达到 90+FPS,在 NVIDIA GTX 1660 Ti GPU 上用 TensorRT 达到 430+FPS。RTMPose-s 以 72.2%AP 的功能,在手机端 Snapdragon865 芯片上用 ncnn 布置达到 70+FPS。

在 MMDeploy 的协助下,咱们的项目支持 CPU、GPU、Jetson、移动端等多种渠道,支持 ONNXRuntime、TensorRT、ncnn、OpenVINO、RKNN 等多种布置结构。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

体验地址: github.com/open-mmlab/…

效果展现

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

一致的功能比照

在调研过程中咱们发现,当前市场上干流的姿势估量项目,比方根据 PaddleDetection 的 PP-TinyPose、上交开源的 AlphaPose、Google 发布的 MoveNet 和 MediaPipe 等,它们缺少一致的比照,在报告精度时,各自使用的验证集、硬件等都存在差异,即使是同一份 COCO val2017 数据集,咱们也按照不同的标准进行了人工挑选和过滤,并且未揭露。

所以,咱们在相同硬件上逐个布置,在一致的 COCO val2017 上测试了它们的功能体现,与 RTMPose 进行比照。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

考虑到各自针对的使用场景不同,比方 PP-TinyPose 和 MoveNet 都是针对移动端规划的姿势估量算法,面向的也主要是单人姿势估量,所以咱们也从 COCO val2017 构建了一个单人验证集来进行仔细比照。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

经过上述比照能够看到,RTMPose 与干流姿势估量项目比较有着愈加优秀的精度-速度平衡。后续还会有根据 MMRazor 的剪枝、蒸馏和量化算法加入到 RTMPose 项目中,进一步强化轻量模型功能。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

内测事务体现

RTMPose 自预热以来受到了社区的火热重视,咱们邀请了一批工业界的积极用户参与到内测中,以下是社区小伙伴在自己的公司事务数据和设备上试用后的反应成果。

布置实测

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

事务功能数据

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

经过内测反应能够看到,RTMPose 能够方便地布置到各种不同硬件上,在落地事务上更是直接带来了十多个百分点的精度提高~

友好的上手教程

咱们为用户预备了具体的中英文教程,手把手带领咱们进行模型的练习、布置和推理,不管你是在 CPU、GPU还是手机端、Jetson 渠道,使用的言语是 Python、C++ 还是 JAVA,都能够快速进行 RTMPose 的布置。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

根据 MMDeploy 预编译包,用户能够省去杂乱的环境配置与安装,快速感触 RTMPose 带来的极速体验。

又快又稳,研究、落地全都要!姿态估计全能选手 RTMPose 来啦!

写在最终

假如您也对人工智能和核算机视觉全栈范畴感兴趣,强烈推荐您重视有料、风趣、有爱的大众号『CVHub』,每日为咱们带来精品原创、多范畴、有深度的前沿科技论文解读及工业成熟解决方案!欢迎增加小编微信号:cv_huber,一同讨论更多风趣的话题!