当时时刻片试验日益增多，且时刻片试验之间假如不加约束会存在互相搅扰。因而在货拉拉试验场景大量运用固定次序轮播的时刻片嵌套的方法，将这一搅扰下降至可控。

但实践状况中，由于订单在周与周之间会有周期性动摇，因而对嵌套试验而言，一旦嵌套层数大于2层，收回周期将大于28天。

因而考虑到，假如运用固定次序轮播和随机次序轮播穿插的方法，是否能够缩短收回周期。本文运用模仿的方法给出相应的阐明。

1. 理论基础

关于全因子试验规划（factorial design）和时刻片嵌套试验规划的考虑

1. 时刻片嵌套试验本质上是全因子试验规划的一种完成计划

因子在这儿指的是不同模块的战略； （例如：当时「播单扩半径」与「调整pk时长」就能够以为能够组成一个全因子试验）

将不同的因子，以必定的方法组合起来，当仅观测某一个时，要确保其他因子的影响程度能够彼此抵消；

最小试验周期等价于一切可能性轮换一遍，且确保每组的时刻持平所需求的时刻（不考虑周的天然动摇）。

2. 全因子试验框架下，时刻片长度和试验次序对嵌套试验的影响

时刻片嵌套试验，存在2大试验规划变量，时刻片长度的选取（5分钟，30分钟，1小时等等），试验次序的规划（随机次序，固定次序）。

为了演示的便利，这儿仅考虑2个因子，每个因子仅有2个取值的试验，即AB与XY，需求确保AX，AY，BX，BY均在试验中呈现，一起，作用时长持平。

为了阐明时刻片长度的影响，这儿先假定试验次序为固定序，假定起点对齐，嵌套结构有如下状况：

1. 当两个因子的时刻片长度持平时，有必要引进其中一个的次序回转，才能遍历到一切组合；

2. 当两个因子的时刻片长度不等时（一个长度为m，一个长度为n）：

不确保每个组合耗时共同，需求 2 * max(m,n)即可取得一切组合数据；

若要确保组合耗时共同，状况较为杂乱：

• 当 m = 2n 时，需求 2m 长度即可（能够泛化为，m是n的偶数倍）；
• 当 m = 3n 时，需求 4m 长度（能够泛化为，m是n的奇数倍）；
• 当 m 不能被 n 整除时，需求长度 = 2 * 最小公倍数(m,n)，不需求改变次序

3. 当仅考虑试验次序的影响，相同考虑2个因子alpha，beta，每个因子多种取值的状况，共会产生3类组合

2. 固定 随机时刻片场景探索

咱们关怀运用固定次序轮播和随机次序轮播穿插的方法，是否能够缩短试验收回周期。

上面的理论基础可知，时刻片长度是影响嵌套试验的另一个变量，所以接下来的模仿会考虑时刻片长度是否相同，在不同的试验周期内，探索固定次序叠加随机次序后试验数据的同质性。

时刻片长度相同： 实践动播3.0试验 模仿加价试验

• 动播3试验： 依照实践 ab试验 数据计算，两个分组各为X分组时刻片，运用固定次序轮播
• 模仿加价试验： 这儿为模仿试验，依照两个组各X分钟时刻片，运用随机次序轮播

定论如下：

1. 总体上，四种状况下的订单数占比约有1p.p.～4p.p.不等的差异，差异仍可承受；
2. 从动播3的试验来看，对照组有XXX%的订单可加价，试验组有XXX%的订单可加价，经查验，二者有显著差异。

3. 各组分小时的订单数散布如下：

   各组间在小时维度的动摇差异较大，16天周期下不同质；

   “对照组 对照组”和“试验组 试验组”的趋势较为贴合，且二者趋势显着异于“仅有一组是试验组”的组合的趋势；

4. 四种组合下的订单数逐日累积改变趋势如下：

   “对照组 对照组”和“试验组 试验组”的趋势较为贴合，别的两组的趋势更为贴合；

   在16天里，并未呈现四条线逐步收敛的趋势

时刻片长度相同：模仿动播3.0试验 模仿加价试验（60天）

由于实践状况下很少有长期存在的某个试验，因而这儿模仿一个60天的播单试验，与模仿的加价试验在同一批城市上叠加，用来探查在延伸了观测周期今后，这种叠加效应能否有所稀释；

• 模仿动播3试验： 两个分组各为X分组时刻片，运用固定次序轮播
• 模仿加价试验： 两个组各X分钟时刻片，运用随机次序轮播

定论如下：

1. 总体上，四种状况下的订单数占比差异缩窄至1.5p.p.以内，在无实在战略的状况下，各组配对率差异极小；动播试验组和动播对照组的可加价订单占比根本无差异；

2. 即便延伸观测周期至60天，各组订单在一天每小时的散布上依然有较大不同质

   相同呈现出“对照组 对照组”和“试验组 试验组”的趋势较为贴合，且二者趋势显着异于“仅有一组是试验组”的组合的趋势；

3. 即便延伸观测周期至60天，累积订单数也并未呈现“逐步收敛”的趋势；

时刻片长度不相同：模仿动播3.0试验 模仿加价试验（60天）

由于实践状况下很少有长期存在的某个试验，因而这儿模仿一个60天的播单试验，与模仿的加价试验在同一批城市上叠加，用来探查时刻片长度不相同下的叠加效应；

• 模仿动播3试验： 两个分组各为0.5X分组时刻片，运用固定次序轮播
• 模仿加价试验： 两个组各X分钟时刻片，运用随机次序轮播

定论如下：

1. 总体上，四种状况下的订单数占比差异缩窄至0.2p.p.以内，在无实在战略的状况下，各组配对率差异和可加价订单占比根本无差异

2. 各组订单在一天每小时的散布上根本同质

   14天时会有细微不同质；到28天在每小时散布上根本无差异了

3. 固定 随机时刻片叠加效应剖析定论

咱们通过实践的试验数据和模仿数据，探索了在不同试验周期、时刻片长度下，固定次序轮播和随机次序轮播穿插的试验方法对试验同质性的影响：

1. 当固定和随机的时刻片都为X分钟时：

   截止第16天：各组订单数、可加价订单占比都有较显着差异；

   截止第60天：各组订单数、可加价订单占比无差异，但每小时订单数散布显着不同质

2. 当固定次序轮播的时刻片为0.5X分钟，随机轮播的时刻片为X分钟时：

   截止第二周（14天）：各组订单数、可加价订单占比已根本无差异；每小时订单数散布有细微不同质

   截止第四周（28天）：各个指标同质性均较好

综上：

咱们关怀固定次序轮播和随机次序轮播穿插的方法，是否能够缩短收回周期，但实践的试验数据和模仿数据显现，这种方法并不能显着缩短调查周期，且同质性不好

当时刻片长度相同时，运用固定轮播 随机轮播的方法，并不能缩短收回周期，反而在相同的收回周期下，这种方法下的同质性不如嵌套的固定次序轮播；

当时刻片长度不同时，运用固定轮播 随机轮播的方法，同质性较好；但相同的时刻片长度，假如都用固定次序轮播，也几乎能在相同的收回周期到达同等的同质性。

总结

对于货拉拉试验渠道的时刻片嵌套试验，咱们以为应该谨慎运用随机次序轮播，由于随机时刻片的引进，带来了额外的方差，拉长了试验周期。

尽管固定次序轮播需求人工处理多层试验的正交问题，但试验上线后流量同质性较好，试验周期较短，因而是多层时刻片嵌套试验的较优的轮播方法。