正文
如上图,如果原始版转化率是10%,优化的新版本转化率预期是12%,在进行AB测试时,每组用户样本数据达到2900以上时,才能说明这个新版本转化率的是显著差异,是可信的。
在计算完预估的样本数量之后,还有一个重要工作就是预估实验周期。
如果可信的AB测试每组实验需要2900个样本量,但是我们的产品每天只有200的日活用户,分成两组后每组只有100用户,则2900/100=29天,意味着AB测试实验需要29天后才可达到需要的样本量。
这个时候就要评估这个周期是否是可接受的,
如果周期过长,则说明这个AB测试在现阶段进行是不合适的。
样本规模预估是在AB测试前进行,因为优化版本的转化数据是预估的,所以样本量和实验周期都是预估数据,帮助我们在AB测试前对测试样本和周期有个初步判断。
在实际的AB测试实验结束后,我们还需要对
实际的结果数据
进行统计显著性检验,保证对照组和实验组的数据差异是显著可信的。
在这个工具中,我们输入AB两组的实际数据,就可以清楚看到两者转化率的差异,以及试验结果的统计显著性结果。
以上图为例,虽然B组的转化率比A组高,但是因为样本量较小,试验结果没有达到显著的统计学差异,所以我们不能得出B组优化比A组更好的结论。
这个时候有两种选择:
一是继续实验,积累更多的实验数据后进行分析;
二是放弃实验,得出此次优化没有明显提升的结论。
也不是说继续实验一定会得出显著性差异,如果样本量继续增大,但是转化率差异减小,就意味着需要更多的样本量,这种情况往往说明两个版本的差异确实不大,但是也需要根据实际情况判断是否需要停止AB测试。
在进行AB测试时,一般情况下会有一个
核心指标来判断实验结果
,同时会有一些支持或辅助指标来更好地监测实验和分析结果。但是