正文

请到「今天看啥」查看全文

• 由于异常用户的指标值较大，造成了整体指标的波动性较大，让实验的精度变差、样本量需求变大，原本可以观测的实验效果就会被淹没在噪音中（指标方差较大带来实验最小提升量-MDE较大）

2.异常值剔除方案的局限性

• 做不到的：无法识别业务逻辑中认定的异常值以及异常用户（比如xx用户命中了xx风控规则，所有数据不可信），无法识别指标统计错误（比如某用户1天内在一个页面的停留时长超过24H）

• 能做但做不好的：降低指标的波动性，但同时可能会去掉了部分有效样本和有效数据，会让样本产生偏差（bias）。此时需要用更多的样本才能进行更灵敏的实验，或使用ANCOVA、CUPED等方差缩减的方法。

传统统计学方法的应用—— trim & winsorize方法对于补贴实验的效果对比

1.什么是trim方法与winsorize方法，为什么选择这些方法？

这两种方法其实源自于上个世纪的调研分析方法，当年的统计学家除了会遇到样本量不足的问题外，也会遇到在样本收集、统计过程中发生错误而导致的异常值。在当年各种算法技术、算力限制的情况下，统计学家会通过观察、处理当前数据指标分布的方式，对样本进行更加稳健的估计。具体来看

◦ Winsorizing（或缩尾法）：当样本点的取值超过样本的特定分位数后，将取值直接替换为分位数值

◦ Trimming（或去尾法）：当样本点的取值超过样本的特定分位数后，将样本点直接丢弃

2.数据表现

• 我们使用异常值处理后对样本均值、标准差的影响作对比，可以发现在同样的分位数下，trimming方法通常会有更大的效果。

• 但如果我们忽略掉具体的分位数选择，直接对比方法的损失（横轴，均值估计偏差）与收益（纵轴，方差缩减效果），可以发现winsorize方法更具有优势，即在相同的均值估计偏差下，有更大的方差缩减效果（即下图中，左下角更好）。

• 方法对于实验的一类、二类错误影响如下👇

3.方案原理、效果对比

请到「今天看啥」查看全文