专栏名称: 美团技术团队
10000+工程师,如何支撑中国领先的生活服务电子商务平台?数亿消费者、数百万商户、2000多个行业、几千亿交易额背后是哪些技术在支撑?这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。
目录
相关文章推荐
美团技术团队  ·  可信实验白皮书系列04:随机轮转实验 ·  3 天前  
美团技术团队  ·  可信实验白皮书系列03:随机对照实验 ·  3 天前  
51好读  ›  专栏  ›  美团技术团队

可信实验白皮书系列04:随机轮转实验

美团技术团队  · 公众号  · 架构  · 2025-06-05 19:58

正文

请到「今天看啥」查看全文


,在给定倾向得分的情况下, 无关。
实验组和对照组样本量分别为 表示处理前变量或协变量, 分别表示实验组个体和对照组个体的潜在结果向量。例如AOI按天抛硬币轮转实验,如图4-1所示每个AOI每天以的概率随机分配到实验组或对照组,具体可通过一种Hash算法将实验单位随机分到各组,目前实验平台默认使用MurmurHash3,分组表达式示例如下:
AOI按天抛硬币轮转实验分组表达式示例
对照组分组表达式 :(murmur332(murmur332(aoi_id, 随机种子A)+murmur332(dt, 随机种子B), 随机种子C)%2) in (0)
实验组分组表达式 :(murmur332(murmur332(aoi_id, 随机种子A)+murmur332(dt, 随机种子B), 随机种子C)%2) in (1)

| 4.1.3 评估原理

抛硬币随机轮转实验本质上与普通随机对照实验无差异,因此可直接引用第三章3.1.2普通随机分组的评估方法。类似地,抛硬币随机轮转实验同样可应用CUPED方法降方差,例如AOI*天抛硬币随机轮转实验选择对应AOI实验前对应周几的数据作为协变量,如若是AOI*天*小时抛硬币轮转实验选择对应AOI实验前对应周几对应小时的数据作为协变量,以尽量提高实验前后数据相关性,从而最大限度降低方差。

在使用抛硬币轮转实验时,同样需注意:实验单元与分析单元不一致时,错误的方差计算方式容易低估方差,导致假阳性的问题。例如某实验在分流时,将所有AOI分为两部分,这两部分AOI集合每天随机分到实验组或对照组,这时实验单位是AOI集合*天,而实验者评估时却采用AOI*天粒度的数据计算方差,AOI集合下的AOI分组不独立,若直接套用随机化分组下的方差计算公式可能会导致低估方差,导致假阳性。如下图4-2左图所示,在策略没有效果的情况下,误判策略有效的概率超过25%。正确的计算方法是将实验数据汇到AOI集合*天粒度计算方差,此时如图4-2右图P值近似服从均匀分布,且假阳性的概率控制在5%以内。

4.2 完全随机轮转

| 4.2.1 方法概述

在全城存在强溢出效应,且小时级时间片轮转存在携带效应的情况下,一种可行的做法是采用城市按天随机轮转实验。例如在具有强LBS [3] 业务属性的履约实验场景下,通常会存在溢出效应问题,超过1/3的履约实验场景采用全城按天轮转实验。然而,由于实验周期有限,城市按天轮转实验设计下的样本量( 即某个城市的实验天数 )通常较少。在这种情况下,若采用抛硬币方式进行轮转分组可能导致实验组和对照组天数不平衡,例如14天的实验可能出现5天实验组和9天对照组的情况。这种不平衡通常不符合业务方对实验状态和对照状态天数相等或相近的预期,某组天数非常少时也很难准确反映策略的效果,并可能损失实验检测功效。因此,在设计全城按天轮转实验时,通常需要特别注意组间天数的平衡,以确保实验结果的可靠性和有效性。

完全随机轮转分组为整城按天轮转实验提供了一种合适的实验设计,并具备科学的因果推断评估理论。其通常可在实验前的实验设计阶段,预先指定或固定实验组和对照组的天数,从而实现实验组和对照组天数相等或接近,甚至按需指定实验状态天数等。例如,在14天的按天轮转实验中,完全随机轮转允许指定恰好分配X天进入实验组,剩下的14-X天进入对照组( 例如X=7 )。在此基础上,可进一步结合分层技术进行分层完全随机轮转,即先按照某些特征属性划分为多个层/类,再在每层分别采用完全随机轮转。例如为期14天实验中,按照是否周末分层,在10个工作日中随机分配5天作为实验组、5天作为对照组,4个周末日期随机分配2天为实验组、2天为对照组。类似地,对于多个实验城市,可考虑按城市分层,在每个层( 即城市 )内应用完全随机轮转,以提高实验组和对照组的同质性。

| 4.2.2 分组机制

完全随机轮转分组本质上为对时间片分配采用完全随机分组机制,即对于 个实验单元,随机分配恰好 个单元于实验组中,剩下的






请到「今天看啥」查看全文