最近,最炙烈的话题莫过于刘畊宏的男孩女孩们。

刘畊宏的燃脂健身直播刷屏网络,掀起了一阵疯狂不退的居家健身潮,以周杰伦的《本草纲目》为旋律的毽子舞,更是引发了全民打卡热。

所以,程序员圈是怎么游刃于这波热潮的?

当姿态估计算法遇上《本草纲目》,看“刘畊宏男孩”如何驱动虚拟人

阿里云程序员化身“刘畊宏男孩”

硬核阿里云程序员跳《本草纲目》,竟然用上了“火柴人”黑科技?

一则程序员的“本草纲目”让咱们预热领会一下“人体姿势估量算法”。

短视频中,阿里云视频云工程师身上酷似“火柴人“的造型,便是将“人体姿势估量算法”可视化,而人体姿势辨认是计算机视觉中的重要任务,也是计算机理解人体的动作、行为不可或缺的一部分。

早在刘畊宏现象之前,视频云技能团队就开始深耕人体姿势估量算法,此次算法工程师们纷纷化身“刘畊宏男孩”,便是为了探究“人体姿势估量算法”的实在场景运用。

咱们知道,在刘畊宏健身热潮的一起,随之受伤的男孩女孩们更是不计其数,尽管刘畊宏在交际媒领会为部分粉丝批改视频、纠正动作,但还是难以处理部分粉丝跟跳受伤的情况。

当然,肉眼辨认的差错很大,仅靠人力是无法完结粉丝的动作纠正。所以,一种更智能、更高效的辨认技能能够处理这个问题,即“人体姿势估量算法”。

人体姿势估量算法?

人体姿势是人体重要的生物特征之一,进行姿势估量是人体数字化与智能化的重要技能基础,具有广泛的运用场景,包含步态剖析、视频监控、增强现实、人机交互、体育科学等等。

咱们所说的人体姿势估量(Pose Estimation),包含了方针检测、人体骨骼要害点检测、切割等要害技能,旨在给定图画视频之后,根据图画视频中的人体信息,定位并确认人体各个部位的骨骼要害点,然后对人体的姿势进行估量。

能够看到短视频中工程师们身上酷似“火柴人”的形态,代表了人体18个人体骨骼要害点(头部、肩部关节、肘部关节等)的精准辨认。

当姿态估计算法遇上《本草纲目》,看“刘畊宏男孩”如何驱动虚拟人
人体18个人体骨骼要害点

阿里云视频云的人体姿势估量算法,能够快速、精准完成静态和动态场景下的动作辨认,而且,更要害的是,能跟着人体的运动改变能够在移动端完成多人、实时盯梢辨认。

当姿态估计算法遇上《本草纲目》,看“刘畊宏男孩”如何驱动虚拟人
移动端实时人体18个要害点辨认

要知道,在移动端完成多人、实时盯梢辨认,并非易事。

移动端受限于硬件计算才能,特别是一些性能较差的低端机,需要规划轻量级的模型结构和工程化策略来完成实时运转,而多人辨认的难点在于假如对每个人进行别离独自的猜测,所耗时间就会成比例上升,也难以实时完结。

为了完成实时和精度的平衡,阿里云视频云在技能上对Bottom-Up方案(先检测出图画中的一切关节点,再判别每一个关节点归于哪一个人,完成步骤是要害点检测到要害点匹配)进行了整体的改进和优化,其猜测了两个feature map分支,一个是如肩部关节、肘部关节等要害点未知的猜测,另一个是猜测两两要害点之间的矢量场,这是用来判别各个要害点归于图中的哪个人,并经过“匈牙利算法”来组装成一个完好的人。

由此,才能完成移动端多人实时的姿势辨认,翻开更低门槛、更广泛的商业场景运用空间。

算法带来的实在价值

技能的探究,结尾服务于人的日子。

人体姿势估量技能的一个运用是动作辨认。

例如在体育健身场景中,阿里云视频云的人体姿势估量算法,除了能够辨认各种动作及对危险动作进行辨认预警,进而还能给出动作准确度等信息反馈,运用运动更精准、更实时、更多人的准确性判别,一起也可对跳绳、深蹲、俯卧撑等各类动作进行运动计数等更多数字化体育科技服务。

当姿态估计算法遇上《本草纲目》,看“刘畊宏男孩”如何驱动虚拟人
人体姿势估量的动作辨认

具象到场景,技能在养老、医学、体育竞技、运动练习等等场景都有重要价值。

在养老职业,经过算法可精准辨认老人的潜在危险动作并实时宣布预警;

在医学范畴,技能可用于调查骨骼康复状况,以及患者的姿势监督;

在竞技体育界,能够经过监督运动员姿势,创立辅佐练习体系,剖析运动员的每一时刻的动作,协助运动员找到更好的姿势;

在日常运动上,技能能够更直观地运用于各类健身、体育、舞蹈等的主动教学上。

当然,在视频监控、金融服务、移动支付、娱乐交际、游戏互动等更多具体场景中,该技能还有更具价值的运用空间。

更智趣的虚拟人驱动

人体姿势估量技能的另一个有趣运用,是经过追踪人体姿势的改变来完成虚拟人的驱动。

一般来说,真人驱动型虚拟数字人是以真人为核心,经过3D建模、动作捕捉技能、烘托等技能,形成一个虚拟化身。

现在,虚拟数字人肢体动作的主要完成方式是光学式动作捕捉、惯性式动作捕捉,及根据计算机视觉的动作捕捉。

光学式动作捕捉的原理是盯梢、辨认并命名方针身上各反光符号点,得出方针的根本骨架,再对符号点位进行持续盯梢。惯性式动作捕捉主要以装备用于人体各主要骨骼节点上的惯性传感器,然后完结数据采集,经过处理树立运动的三维模型。

但是,当时的这两种方式存在许多问题:对环境要求高、软硬件设备高昂,以及精度较低、接连运用易产生累积差错等。

虚拟人实时驱动示意

但是,咱们能够看到,视频中的工程师即便在普通室外环境及无穿戴传感器设备的情况下,便可精准驱动虚拟人,这便是根据计算机视觉的动作捕捉,即根据拍摄到的二维图画、三维形状特征,以还原各关节点运动信息。

值得一提的是,阿里云视频云的技能团队经过视频云超轻量级其他人脸盯梢及AAI推理结构完成了虚拟人的面部表情模仿,并能在PC端CPU完成实时驱动+烘托,一起正在参加手掌及手势的全态模仿,在虚拟人的交互性与时效性上带来更多体会、更多价值。

除了以上,现在阿里云视频云的人体姿势估量算法的许多运用现已集成到阿里云Queen SDK产品中,而在人体姿势辨认的基础上,Queen本身还有多项人体特效功能,如精准美体瘦身等,也欢迎咱们体会demo(体会链接)。

人体姿势估量的重要运用价值,不仅丰富于日子场景,更吸引着越来越多工业界以及学术研究人员的目光。未来,跟着人体姿势估量相关技能的持续升级,其运用优势会愈加显性,运用范畴也将愈加广泛。

一起,人体数字化与智能化是更大的课题,关于虚拟国际、大健康产业、工业产业都是更具突破性的技能延展,阿里云视频云也将持续探究先进的视觉智能技能,促进人体数字化与智能化在各行各业的实在落地。


「视频云技能」你最值得重视的音视频技能大众号,每周推送来自阿里云一线的实践技能文章,在这里与音视频范畴一流工程师交流商讨。大众号后台回复【技能】可参加阿里云视频云产品技能交流群,和业内大咖一起讨论音视频技能,获取更多职业最新信息。