疫情让线下的需求很多转移到线上,催生出了远程工作、网络授课、线上健身等新的生态现象。怎么更好地为用户服务,提高用户体会,成为了诸多渠道的一大课题。

今日的故事来自字节的一款 App,当它的发展进入老练期后,经过A/B测验等精细化数据剖析提高用户体会,实现DAU(日活跃用户数)增加数十万的故事。

在字节有一个专门保障用户运用功能体会的团队,他们在日常的数据观察中发现了一个现象:用户所运用的设备功能好坏,会影响到他们在产品运用中的活跃度。同时,他们在研究中发现,这些根底功能体会的提高,会延长不同细分范畴的用户生命周期,最终提高短视频产品的大盘DAU。

为了进一步精确归因,这个团队运用专门为A/B试验打造的数据产品——DataTester,该产品是字节跳动内部使用多年的A/B试验渠道,在2020年现已过火山引擎面向外部企业敞开服务。他们经过 DataTester 检查现已获得正向收益的A/B试验,并对其间的每个功能目标和事务目标做线性剖析,测验寻觅会对事务目标造成影响的功能目标。

火山引擎 DataTester 应用故事:一个A/B测试,将产品DAU提升了数十万

数据显示,字节每日有3万余个A/B试验在同时运转,而每一次微小的产品改动,也都会经过A/B试验所得出的数据验证。可以说小到按钮色彩和位置,大到引荐算法战略和规则,在字节都经历过 DataTester 的A/B试验作用验证。

因而,该短视频产品也在 DataTester 中积累了很多的试验记载。当功能体会团队将 DataTester 中的历史试验进行归纳收拾后,他们发现有几个功能目标和产品的事务目标具有高度的相关性——当用户在刷短视频的过程中,遭遇到较多流通度、储存占用、网络速度等问题,会直接的下降用户运用短视频产品的活跃度,而这个问题在设备功能较低的用户集体中更为显着和会集。

火山引擎 DataTester 应用故事:一个A/B测试,将产品DAU提升了数十万

定位到问题后,功能体会团队开始有针对性地开启了产品战略的优化。他们会集优化了设备功能较低的用户,在打开产品发动速度和视频加载流通性方面——

  • 发动速度:首刷视频加载时刻过长;
  • 流通性:UI动画和视频加载卡顿。

他们设计了优化后的产品形状,核心是将页面展现简洁化,并再次经过DataTester投进A/B试验,用以验证作用。

火山引擎 DataTester 应用故事:一个A/B测试,将产品DAU提升了数十万

配合产品页面展现简洁化,也同时减轻了一些特效、动效、方便功能、附加组件等加载,综合性大幅提高了该短视频App的发动速度和视频播映的流通度。

从DataTester的试验结果上看,优化后的试验组方案在功能目标上有了大幅提高,App发动速度、播映流通度显着提高,播映卡顿目标大幅下降。而在事务目标的数据反应中,用户生命周期、用户拜访时长等都有不同程度的正向收益。最终,本次的产品优化在DataTester中取得了提高整个短视频App 数十万日活的收益,超出预期。

从今日头条开始,字节的每款产品,在迭代中都离不开A/B测验。也正是由于DataTester在字节全事务线的深度遍及和使用,帮助事务在每一个微小决策的岔路口上,都做出了那个“更正确一点”的挑选。

DataTester根据先进的底层算法,提供科学分流能力和智能的计算引擎,支持多种杂乱的A/B试验类型。在使用和剖析场景上,DataTester 深度耦合引荐、广告、查找、UI、产品功能等多种事务场景需求,为事务增加、转化、产品迭代,战略优化,运营提效等各个环节提供科学的决策依据,让事务真正做到数据驱动。

现在,DataTester 现已服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将老练的“数据驱动增加”经历赋能给各行业。

跳转 A/B测验 DataTester 了解详情