专栏名称: 爱数据LoveData
中国统计网(www.itongji.cn),国内最大的数据分析门户网站。提供数据分析行业资讯,统计百科知识、数据分析、商业智能(BI)、数据挖掘技术,Excel、SPSS、SAS、R等数据分析软件等在线学习平台。
目录
相关文章推荐
51好读  ›  专栏  ›  爱数据LoveData

关于增长AB测试,这5件事你应该知道

爱数据LoveData  · 公众号  · BI  · 2024-04-19 16:00

正文

请到「今天看啥」查看全文



如上图,如果原始版转化率是10%,优化的新版本转化率预期是12%,在进行AB测试时,每组用户样本数据达到2900以上时,才能说明这个新版本转化率的是显著差异,是可信的。


在计算完预估的样本数量之后,还有一个重要工作就是预估实验周期。


如果可信的AB测试每组实验需要2900个样本量,但是我们的产品每天只有200的日活用户,分成两组后每组只有100用户,则2900/100=29天,意味着AB测试实验需要29天后才可达到需要的样本量。


这个时候就要评估这个周期是否是可接受的, 如果周期过长,则说明这个AB测试在现阶段进行是不合适的。


2



测试结果分析


样本规模预估是在AB测试前进行,因为优化版本的转化数据是预估的,所以样本量和实验周期都是预估数据,帮助我们在AB测试前对测试样本和周期有个初步判断。


在实际的AB测试实验结束后,我们还需要对 实际的结果数据 进行统计显著性检验,保证对照组和实验组的数据差异是显著可信的。



在这个工具中,我们输入AB两组的实际数据,就可以清楚看到两者转化率的差异,以及试验结果的统计显著性结果。


以上图为例,虽然B组的转化率比A组高,但是因为样本量较小,试验结果没有达到显著的统计学差异,所以我们不能得出B组优化比A组更好的结论。


这个时候有两种选择:

一是继续实验,积累更多的实验数据后进行分析;

二是放弃实验,得出此次优化没有明显提升的结论。


也不是说继续实验一定会得出显著性差异,如果样本量继续增大,但是转化率差异减小,就意味着需要更多的样本量,这种情况往往说明两个版本的差异确实不大,但是也需要根据实际情况判断是否需要停止AB测试。


3



反向相关指标


在进行AB测试时,一般情况下会有一个 核心指标来判断实验结果 ,同时会有一些支持或辅助指标来更好地监测实验和分析结果。但是







请到「今天看啥」查看全文