跟着国内游戏用户数量趋于饱和,我国游戏工业也从高速成长期逐渐转型,市场成熟度提高,竞赛趋于精细化。

跟着游戏出海以及私域流量运营的应战,游戏企业对数据剖析的运用需求和依靠度进一步提高。而在游戏研制立项、验证、开发、测验、上线和运营等阶段A/B测验均能发挥重要作用。

本文叙述一个经过A/B测验获得“数据驱动增长”才能的游戏产品故事。并介绍在游戏的研制推行的全流程中,A/B测验都能使用于哪些场景。

快速试错, A/B测验 打磨爆款游戏

游戏行业开展至今,先后阅历了主机游戏年代、网页游戏年代、移动游戏年代等多个阶段,现在移动游戏收入占国内游戏收入的7成以上,许多传统游戏公司正面临着转型压力。而跟着游戏技能的日趋成熟,大批新兴公司涌入该行业,进一步加剧了竞赛压力。

游戏研制流程大致分为立项、验证、开发、测验、上线准备和运营六个阶段,每个阶段往往都伴跟着许多修正。

修正的作用如何?关于核心目标是否会有负面的影响?传统的思路,是将新特性上线后验证作用,但这也往往存在上线周期长,过分依靠经历,影响面广等问题。

A/B测验能够完美地处理上述痛点。它经过在线上流量中取出一小部分,完全随机地分给原战略A(对照组)和新战略B(试验组),再结合科学的计算办法 ,得到关于两种战略相对作用的准确估量。

A/B测验 运用线上小流量即可验证作用,并能够有效地衡量不同战略的收益。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

“全民弹弹弹”的 A/B测验 故事

在发行时曾荣获“年度最佳休闲游戏”大奖的《全民弹弹弹》,是超休闲游戏类的爆款产品代表。它是一款操作简单、极易上手的球跳塔类休闲游戏,玩家既能够让弹球一层一层地击穿彩色砖块,享受纯粹的弹射快感,也能够解锁更多未知的球球,体会组成的养成趣味。

在这款游戏研制和推行进程中,借鉴了字节跳动的增长经历,接入了字节自研出品的A/B测验产品——火山引擎 DataTester,对游戏的多个环节进行了A/B测验。

在《全民弹弹弹》的游戏运营环节,为验证游戏主页对玩家留存和广告数据的影响,规划了两款主页计划经过A/B测验进行玩家留存数据的比照:跳塔页(左图)、组成页面(右图)。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

经过在 DataTester 中运转2周的试验测验,成果显现,主页为组成页(右图)的页面在用户3日留存、用户7日留存以及广告作用等核心目标中,均显着优于对照组跳塔页(左图)的计划。

在A/B测验的数据成果支撑下,《全民弹弹弹》最终全量上线了组成页面的计划,并取得了优异的作用。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

一款游戏从研制到打磨,再到上线后的不断调优,全链路均可经过A/B测验提高功率和决议计划准确度。除上述场景外,DataTester 还能在游戏产品中,使用于以下场景:

1.验证新手引导改动,新手使命难度调整,初始资源调整等

2.验证关卡难度、装备爆率、宝箱中奖率调整等影响游戏体会的的改动

3.验证商城界面,积分体系,公告栏、banner、按钮、图标等功用性区域的改动

4.验证匹配体系、老友体系、聊天体系等社交性功用改动

5.验证游戏IP、NPC、游戏场景、剧情的改动

试验分层,可无限拓展试验流量

在游戏内测阶段,常常会遇到需求多个A/B测验并行的场景:

小A要验证新的武器体系,需求50%的流量验证;小B修正商城界面,也需求50%的流量;小C对新手使命进行了完善,相同需求50%的流量验证。此时同时进行3个试验,需求150%的流量。

线上流量不够用,只能对试验进行优先级排序,让几个试验先后进行,但这会导致功率低下。

火山引擎A/B测验 DataTester流量分层技能,将整体流量复制“无数遍”,形成”无数个”流量层。流量层两两之间彼此正交,再加之运转在相同层的试验流量互斥,从而确保同时运转多个试验不会相互干扰。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

试验分层技能能够有效的处理线上流量缺乏的情况,尤其是在游戏内测阶段,这个阶段往往获取用户难度较大。需求经过发布内测使命,小规模买量等方式获得游戏玩家,流量获取本钱高。

而这个阶段既需求验证游戏的性能、兼容性,又要对游戏的玩法、关卡设置、故事剧情、营收模型等进行调整。

假如内测时间过长,不仅需求持续的买量投入,也会导致游戏上线节奏被拖慢,甚至或许错失市场热点。经过 DataTester 试验流量分层技能,打破流量约束,大大缩短游戏验证时间,快速上线迭代。

3大试验场景,提高游戏推行功率

除了传统的客户端、服务端A/B测验以外,火山引擎 DataTester 还设有3大针对特殊场景的A/B测验才能,能够大幅提高游戏在广告投进、信息推送等场景下的功率。

  • 推送试验: 经过对推送通知的标题、内容、点击动作等进行测验,找出作用最优的计划。

DataTester 支撑多种推送通道、设备类型;可使用于游戏的拉新、召回以及活动推行等场景,及时响应作用,避免负面影响。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

  • 广告试验: 提高广告投进 ROI,可比照不同的试验案牍、不同的投进渠道的广告投进作用。

DataTester 能够经过转化增效度量的方式来操控“自然转化”对试验作用的影响,确保广告试验的科学性和严谨性。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

  • 可视化试验: DataTester 能够达到所见即所得的A/B测验装备,新手小白也能直接上手运用。

经过所见即所得的在线编辑,下降在 Web/H5 页面优化的场景下,产品方和运营方运用 A/B 测验工具的本钱。可用于游戏活动的推行页面,抽奖页面的作用比照,无需编程即可快速上线。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

上述才能均来自于字节跳动在多年事务打磨中,完结过150万余次A/B测验的经历堆集,因此产品在实用性和易用性方面才能极强。

出海游戏, DataTester 保驾护航

现在全球化运营已经成为新的趋势,海外游戏营收相较于国内有着更高的增长性。国内自研游戏纷繁出海,快速抢占重点区域比例。与此同时也带来了差异化运营、全球化发布、信息安全等全新的应战。

  • 区域差异化运营

因为各国文明、宗教信仰、潮流趋势的差异,相同的游戏活动和修正,在海外不同的区域往往取得的收益各不相同。关于公司来说,海外不同区域的差异化运营,往往需求堆集各地的运营经历,本钱通常较高。

盲目的推行,又容易导致一些负面的影响。DataTester 的A/B测验支撑圈选不同区域的游戏用户,能够针对不同区域的用户开展针对性的测验,能够快速的比较试验成果,确认该区域的最优计划。

  • 全球化发布

全球化发布也是公司在出海进程中所不得不面临的应战。全球化发布意味着运维本钱的提高,同时多版本的管理也增加了发行的复杂性。

DataTester 运转中的A/B试验,支撑直接转换为特性进行发布。同时支撑渐进式发布、定时发布,以及回滚操作等。经过运用特性发布功用,使发布流程愈加简洁,减少发布危险。

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

产品介绍

DataTester 是火山引擎数智平台旗下产品,经过抖音、今日头条等字节事务多年验证,累计开设过150万次A/B测验,可根据先进的底层算法,供给科学分流才能和智能的计算引擎,支撑多种复杂的A/B测验类型。

在使用和剖析场景上,DataTester 深度耦合推荐、广告、查找、UI、产品功用等多种事务场景需求,为事务增长、转化、产品迭代,战略优化,运营提效等各个环节供给科学的决议计划依据,让事务真实做到数据驱动。

目前,DataTester 已在外部多家企业上线使用,将成熟的“数据驱动增长”经历赋能给游戏、轿车、大消费、金融等多个范畴。

申请 DataTester 免费试用、了解更多 DataTester 概况,请点击A/B测验 DataTester