-
什么是A/B试验
A/B试验也被称为A/B测验，试验的基本思路是在线上流量中取出一小部分（较低危险），彻底随机地分给原战略A和新战略B（排除搅扰），再结合一定的计算办法，得到对于两种战略相对作用的精确估量（量化成果）。
这一套根据小样本的试验办法一起满意了低危险，抗搅扰和量化成果的要求，因此不管在互联网产品研制仍是科学研究中，都被广泛运用。
- A/B试验的运用一
Instead of saying “I have an idea,” what if you said “I have a new hypothesis , let’s go test it, see if it’s valid, ask how quickly can we validate it.” And if it’s not valid, move on to the next one. —— Satya Nadella CEO, Microsoft
微软CEO Satya Nadella 在business insider采访中，关于假定检验的这一段答复简练地描述了微软根据试验-分析-决议计划的数据驱动文化。
事实上，微软也是世界上最早选用A/B试验评价每一个严重feature的科技公司之一，从bing的查找排序到MSN的交互规划，数据驱动的决议计划无处不在，每年为微软规避大量危险并创造可观回报。
下图，从bing这一旁边面展现了微软试验渠道一起运转的试验数量十年以来的井喷式开展。
- A/B试验的运用二
另外值得一提的是，这一套根据假定检验的试验办法并非科技公司创始，其影响远比咱们想象得深远，牢靠性也已经得到了长足的验证。
比方，在医学界，每一种新型药物研制都会伴随着一系列动物试验和临床测验，这些试验的作用都会以类似但更为严格的假定检验办法进行评价，终究被确定安全有用的药品才会进入市场，造福患者。
下图所示就节选自某种放射性疗法在乳腺癌治疗中的有用性陈述，红框中的95%CI（95%置信区间）和p（p-value）便是假定检验中常用的计算术语。
2.为什么要开A/B试验
如今，大多数互联网产品粗野成长的时代已通过去，人口红利到顶，产品战略需求从快糙猛的跑马圈地办法转向深耕细作精细化运营办法，要精细化运营，就需求选用数据来驱动。
数据驱动的必要性
何为数据驱动？试想以下几种场景：
- 小A凭着丰富的经历直接修改了产品的线上战略，一周后发现作用不升反降，遂下线。
- 小B和小C一起上线了两个产品功用，一周后产品数据有下降，都认为是对方的问题，谁也不肯接锅。
- 小D上线了一个新战略，随后进入十一黄金周，用户交互有所下降，小D觉得一定是假期埋没了自己的辛苦奉献，但也辩不明白，无处申冤。
- 小E辛苦工作一整年，开发了365个不同的功用上线，年终写总结时却写不出究竟在哪些方面究竟奉献了多少。
想必不管是研制仍是产品运营的同学，都不期望自己辛苦工作过后落入上述的几种为难的境地中，因此数据驱动事务增长就显得很有必要。
那么数据改变和产品动作之间究竟存在什么样的因果关系呢？
假定，某互联网公司承载了上亿规划的DAU，每天有数以百计的新特性等待上线，一方面事务人员无法承当其间任何一个错误特性直接影响上亿用户体会的严重后果，另一方面事务人员又期望能够别离并量化每个特性的影响。
因此，咱们需求规划并坚持运用一套数据驱动的办法，使得事务人员可以以较小的危险对新feature进行评价，活跃试错积累经历；并且咱们规划的该办法有才能排除其他要素（比方一起开发的其他feature以及时间要素等）的搅扰；最后，除了‘好’或者‘不好’，咱们期望这个办法最好也能够给出 定量的成果。
如何做到数据驱动？
为了解决上述问题，遍及运用的办法论是小流量随机试验，也便是咱们常说的A/B试验。
在推崇“数据驱动增长”的字节，A/B试验是一种信仰。在通过多年的内部事务的打磨，目前已通过火山引擎正式把A/B试验渠道对外服务，取名为DataTester。它根据先进的底层算法，供给科学分流才能，供给智能的计算引擎，试验成果牢靠有用，助力事务决议计划。深度耦合引荐、广告、查找、UI、产品功用等多种事务场景需求，为事务增长、转化、产品迭代、战略优化、运营提效等各个环节供给科学的决议计划依据，让事务真正做到数据驱动。
DataTester通过抖音、今日头条等字节事务多年验证，到2022年8月，已在字节跳动内部累计完成150万次A/B试验。此外也已经服务了美的、得到、凯叔讲故事等在内多家标杆客户，将成熟的“数据驱动增长”经历赋能给各行业。
火山引擎DataTester官网：www.volcengine.com/product/dat…
当即跳转 A/B测验 DataTester 了解概况！
