正文
第2章 AB实验基础
2.1 实验基础原理概述
2.2 AB实验统计学基础
2.3 常用实验术语
第3章 随机对照实验
3.1 经典随机对照实验
3.2 提高实验功效的进阶手段
3.3 进一步保证同质性的实验方式
3.4 解决溢出效应的复杂随机对照实验
3.5 拓展与展望
第4章 随机轮转实验
4.1 抛硬币随机轮转
4.2 完全随机轮转
4.3 配对随机轮转
4.4 拓展与展望
第5章 准实验
第6章 观察性研究
6.1 合成控制法
6.2 匹配方法
6.3 Causal impact
6.4 拓展与展望
第7章 高阶实验工具
7.1 统合分析
7.2 多重比较
7.3 拓展与展望
第8章 开放式分析引擎
8.1 产品特性
8.2 系统架构
8.3 系统接入
8.4 线下分析实战
总结与展望
1.1 了解AB实验
工欲善其事，必先利其器。在这个数据驱动决策的时代，AB实验已经成为洞察用户行为、优化产品体验的不可或缺的工具。AB实验，又称为在线对照实验（
Online Controlled Experiment
），其概念源自生物医学中的“双盲测试”，即将病人随机分为两组，在不知情的情况下分别给予安慰剂（
或旧药物
）和新药治疗，经过一段时间实验后再比较两组病人是否有显著差异，从而确定新药的有效性。自2000年Google将A/B实验应用于互联网产品测试以来，这一方法已在包括美团在内的各大互联网公司得到了广泛应用。
假设美团履约侧在可为某些（
用户，商家
）提供配送服务时，想验证在App的C端产品上弹窗以及展示某标签是否能促进用户下单意愿。此时，AB实验提供了理想的解决方案。如图1-1所示，其做法为通过圈选一部分用户并随机分配为实验组和对照组（
随机分流可确保两组在诸多特征上无差异
），实验组用户施加新功能/新版本策略，而对照组用户继续使用旧功能/旧版本策略。一段实验周期后基于日志系统和业务系统收集的用户指标数据进行分析，比较实验策略与对照策略是否有显著收益，并以此为依据判断新策略是否应推广到全部用户。
AB实验之所以能迅速成为工业界数据驱动决策的黄金标准，主要归功于其能定性验证因果关系以及定量评估增长价值。某个策略的改变是否会导致产品指标的改变，本质上需要的是一种因果关系的判断，即“策略迭代优化”的因是否会带来“产品质量改变”的果。单凭经验以及相关性分析难以做成正确的决策，Google和Microsoft相关统计表明，即使很有经验的相关人士正确判断产品策略的概率也只有1/3。依赖相关性同样可能导致错误的决策，例如提供订阅服务的微软Office 365观测到看到错误信息并遭遇崩溃的用户有较低的流失率，这是因为高使用率用户往往看到更多错误信息以及流失率更低。但这并不意味着Office 365 应该显示更多的错误信息或者降低代码质量使得频繁崩溃。
