是否应该进行A/A测试是一个经常引起讨论的问题。很多企业在决定实施A/B测试时，对是否应进行A/A测试并没有足够的了解。在这篇文章中，我们将会讨论，为什么一些企业选择进行A/A测试，在A/A测试期间的注意事项，以及企业如何决定是否投资某种A/B测试工具。
什么是A/A测试
相比A/A测试，大家也许更熟悉的是A/B测试。A/B测试就是将流量引到两个不同的页面--对照组和实验组（实验组是原始页面的另一个版本），以查看哪个版本的转化效果更好。和A/B测试一样，A/A测试也是将流量吸引到两个页面来看哪个效果更好。那么A/A测试和A/B测试到底有什么不同呢？
在A/A测试中，用户被随机分配到两个页面组，而这两个用来对比的页面是完全相同的，但在A/B测试中是使两个不同页面来进行实验。那为什么要用两个完全相同的页面来做实验？这是因为A/A测试的实验目的并不是为了发现两个版本是否会带来转化的提升，而是为了验证两组实验用户之间是没有显著差别的。
A/A测试在实际工作中有什么用？
当公司采用新A/B测试工具时，会选择先完成A/A测试。A/A测试可以为他们提供如下3大帮助：
检查A/B测试工具的准确性
为将来的A/B测试设置基准转换率
确定最小样本量
检查A/B测试工具的准确性
打算购买A/B测试工具或希望切换到新测试软件的公司，可以通过进行A/A测试，来确保新软件可以正常运行并已正确设置。
电商转化率优化专家Tomasz Mazur进一步解释道：“ A/A测试是进行A/B测试之前，进行健全性检查的好方法。当你开始使用新工具或寻求新的实施方案时，A/A测试有助于检查您在测试工具和网页分析工具中看到的访问者数量之间是否存在数据差异。此外，这有助于确保你的假设得到验证。”
在A/A测试中，当实验组和对照组之间绝对没有差异时，那么就可以判断两组用户在关键维度上是一样的、不会对接下来的A/B测试产生混淆与干扰因素。但是，当A/A测试在两个相同变体之间产生了获胜者的情况下，那后续的A/B测试的结果就会是有问题的。导致A/A测试中出现两组结果不均的原因包括：
该工具未正确设置。
测试未正确进行。
测试工具效率低下。
以下是Americaneagle.com(美国服装品牌) A/B测试和优化总监Corte Swearingen对于A/A测试的看法：“通常当我们不确定某个测试平台，或需要额外的证据来证明该平台能有效运行时，我们就会进行A/A测试。确实没有比测试采取完全相同的页面而不进行任何更改更好的方法了。A/A测试其实就是想“戏耍”一下测试平台，看看它能不能兵不厌诈。
为将来的A/B测试设置基准转换率
在运行任何A/B测试之前，需要知道将要用作与结果进行对比的基准转换率。A/A测试可以帮助设置网站的基准转化率。让我们来看看这个示例：假设正在运行一个A/A测试，其中实验组A在10,000个访问者中产生了303个转换，而相同的对照组B在10,000个访问者中给出了307个转换。当两个版本之间没有差异时，A的转换率为3.03％，B的转换率为3.07％。因此，将来A/B测试的基准转换率范围可以设置为3.03-3.07％。如果A/B测试的实验组结果是在这个范围内的，那就说明在A/B测试中的实验组和控制组没有显著差异。
确定最小样本量
A/A测试还可以帮助你计算出所需的最小样本量。如果样本量较小，可能就会损失一些重要的用户细分流量。样本量越大，就更有可能在实验中囊括可能会影响测试结果的所有重要用户细分。Corte说：“ A/A测试可用于帮助客户理解。在假设对照组比实验组产生更好结果之前，要让足够多的人参加测试的重要性。”
Avast(杀毒软件)的高级电商与优化专家Michal Parizek也有类似的想法。他说：“去年，在Avast，我们进行了全面的A /A测试。它为我们提供了一些宝贵的见解，值得我们去做！” 根据他的说法，“在最终评估之前去检查数据总归是一件好事。” 在Avast，为了进行比较，他们对两个主要部分进行了A/A测试 -- 使用产品免费版本的客户和使用产品付费版本的客户。
Avast的A/A测试进行了12天，他们从中获得了很多数据。总体来看，该测试涉及超过1000万用户和6500笔交易。在“免费”细分中，他们看到转换率差异为3％，平均订单价值（AOV）差异为4％。在“付费”细分中，他们看到了2％的转化率差异和1％的AOV差异。（注意，以上结果是A/A测试结果，A/A测试的目的是为了证明结果没有显著差异。）
“所有这些差异在统计数据上都是不显著的，” Michal说。他补充说：“鉴于A/A测试的这些结果，我们设定了内部A/B测试的阈值。例如，如果A/B测试的转换率或AOV的差异小于5％，我们就需要注意这个提升不是实验操纵的结果，而是偶然的。”
Michal在总结自己的观点时说：“ A/A测试有助于发现如果不认真对待A/B测试可能会产生的误导。这也是发现跟踪和设置中所有错误的好方法。”
A/A测试的问题
简而言之，A/A测试中固有的两个主要问题分别是：
任何实验设置中始终存在的随机性因素
对大样本量的需求
让我们来一一仔细看看这两个问题：
随机性因素
正如前面所指出的，检查测试工具的准确性是运行A/A测试的主要原因。但是，如果发现对照组和相同实验组的转化率有区别怎么办？是否总将其归因于A/B测试工具中的问题？
A/A测试的问题是，总是涉及随机性的元素。在某些情况下，该实验获得的统计价值纯粹是偶然的，这意味着A及其相同版本之间的转化率变化是概率性的，并不表示绝对确定性。
TomazMazur用一个真实的例子来解释随机性。“假设您在同一区域建立了两个完全相同的商店。纯粹出于偶然或随机，两个商店的结果可能存在差异。这并不总是意味着A/B测试平台效率低下。”
对大样本量的需求
A/A测试的一个问题是它可能很耗时。测试相同版本时，需要大量样本才能确定A是否比其相同版本更受青睐，这将花费太多时间。
正如ConversionXL(面向做优化和数据驱动的营销人员的在线研究和培训产品)的一篇文章所述，“与A/B测试相比，为了证明没有明显偏差所需要的样本和数据量都是巨大的。在对两个可口可乐进行闭眼品尝测试时，需要多少人，才能得出人们对两者都同样喜欢的结论？500人，5000人？” ConversionXL的专家解释说，优化程序的目的是减少时间，资源和金钱的浪费。他们认为，尽管进行A/A测试没有错，但仍有更好的方法来进行测试。他们在帖子中提到：“开始的测试量很重要，但每个月要完成的测试次数，以及从多少测试中可以学到有用的东西是更重要的。进行A/A测试会消耗“真正的”测试时间。”
其他方法和A/A测试的替代方法
一些专家认为，A/A测试效率低下，因为它会消耗大量本可以用于运行实际A/B测试的时间。但是还有其他人说，对A/B测试工具进行检查非常重要。仅通过A/A测试不足以确定是否应优先使用某一种测试工具。在做出关键业务决策时，例如购买新的工具或软件应用程序进行A/B测试时，还应考虑许多其他事项。
Corte指出，尽管A/A测试没有替代品，但是在实施新工具时还必须考虑其他因素：yangben
1. 测试平台是否可以与网站分析程序相结合，以便可以进一步对测试数据进行切分以获得更多见解？
2. 该工具是否可以分隔出对业务很重要的特定细分受众群，并仅测试这些细分受众群？
3. 该工具是否可以立即将100％的流量分配给获胜组？对于复杂的需要彻底重新设计的测试而言，此功能是非常重要的，因为标准化可能需要一些时间。如果测试工具允许立即将100％分配给获胜组，那么就可以在CMS (Content Management System 内容管理系统）中建立永久页面的同时持续获得改进的好处。
4. 测试平台是否能够提供并收集用于制定其他测试思路的，有关站点访问者定量和定性信息的方法？比如像如下工具和数据：热图，滑动图，访客记录，退出调查情况，页面级调查和可视表单渠道之类的工具。如果测试平台未集成这些工具，那么平台是否允许与第三方工具集成以用于这些服务？
5. 该工具是否允许个性化？如果对测试结果进行了细分，并且发现一种类型的内容最适合一个细分受众群，而另一种类型的内容更适合第二细分受众群，那么该工具是否可以为不同的受众群体永久提供这些不同的体验？
也就是说，仍然有一些专家或人员会选择其他方法，例如在A/A测试中对数据进行三角测量。使用此过程意味着需要两组性能数据进行相互对比检查。使用一个分析平台作为基础，将所有其他结果与之进行比较，以检查是否存在错误或需要修复的问题。
另一个争论：当通过运行A/A/B测试并获得更有意义的信息时，为什么只选择做A/A测试呢。A/A/B测试中，仍然可以比较两个相同的版本，同时还可以测试B变体的某些更改。
总结
当企业面临实施新测试软件应用程序的决定时，他们需要对工具进行彻底检查。A/A测试是某些企业用来检查工具效率的一种方法。连同个性化和分组功能以及本文中提到的其他一些指示，该技术可以帮助检查软件应用程序是否适合实施。
MarTechApe的《A/B测试企业级实战训练营》以真实商业场景中的复杂A/B测试问题为项目背景，让学员在两个月的时间里，使用百万量级原始数据，搭建完整的A/B测试流程。在过去开办的两期《训练营》中，我们为顶尖科技公司输送数据能力强、实验经验丰富、统计基础扎实的数据人才。不论你本来是什么背景，都能通过这门课程，打开盛行“测试文化”的互联网高科技公司的大门！MarTechApe《A/B测试企业级实战训练营》第7期火热报名中！
每一期训练营，我们只招收20名学生。先到先得，遵循阶梯价位，优惠逐额递减，越早报名越优惠！真枪实弹的A/B测试项目实操，百万量级真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到100真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL与Python应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高100%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
专业的Bootcamp经历简历模版与认证证书，可以晒到LinkedIn等求职网站，大大提高面试邀请率！
福利升级：训练营以往只内推成功从训练营中毕业的学生。但在疫情期间，所有A/B测试实战训练营学员，均可获得全职或实习岗位的内推机会！
Emma老师对学员知无不言，有问必答！无论是面试中遇到的问题，还是工作中遇到的困惑。
整个Bootcamp历时8周，每周3小时课程，共计24小时课时。
周末线上实时授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：
课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：
每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的Industry Project Experience完美描述，所有学员获得内推机会！
了解A/B测试在顶流科技公司中的各类应用场景
了解A/B测试适用的商业问题与它的局限
了解科技公司产品团队如何使用A/B测试
面对商业问题，如何设计有效的假设？
如何制定A/B测试的实验计划与执行框架？
学员在项目中重点使用SQL与Python，全方位了解A/B测试中涉及的数据库搭建、样本选取、实验组与测试组分配、变量选取等数据分析步骤。并且充分掌握用Python搭建A/B测试结果分析流程，实现A/B测试自动化，对真实工作中的A/B测试分析了如指掌。简而言之，项目后，你不仅将牢固掌握SQL与Python等最热门的数据分析软件，还将成为真正的A/B测试技术流，完全掌握A/B测试这项数据分析工作中最重要的技能。
充分了解A/B测试的实验步骤
设立零假设与被择假设
确认实验指标，设计实验变量
根据指标类型确认统计检验方法
估算样本量，确定实验周期
置信区间与统计功效
A/B测试中的各类偏差
样本量不够或其他实验条件不满足时的实验设计
了解准实验与A/B测试的应用区别
为项目案例设计A/B测试实验
学员在项目中将透彻学习实验方法与实验设计。在这个环节中，将研究如何制定实验方案，以提高实验效率，缩小随机误差的影响，并使实验结果能有效地进行统计分析。学习在工作场景中如何用A/B测试等实验来提高用户激活/活跃/留存等关键的产品指标，提升产品功能表现，真正理解A/B测试的商业价值与业务地位。
学员在项目中将系统学习数理统计方法，为各类工作实战中的实验方法打下牢固的理论基础。学员所学习到的统计并不只适用于A/B测试，其实是所有数据分析方法的从基础到高阶的统计方法。只有为自己增添坚实的统计背景才能在各类分析方法中游刃有余。
在每周的课程后，所有学员将获得A/B测试面试训练。老师将对各大互联网、科技公司A/B测试面试题给出解题步骤示范与详细解析。确保课堂所学知识可以灵活应用到各类面试场景，助你自信面对A/B测试的所有面试考验！从数据库搭建、样本选取、实验组与测试组分配、变量选取、实验设计，到实验结果深度分析与PPT展示，学员的精致项目报告就是他们最好的训练营成果，这一份拿的出手的高品质项目，无论是LinkedIn还是面试展示，都会是脱颖而出的最佳帮手！长按二维码，添加小助手为好友，回复“AB”，即可报名《A/B测试实战训练营》：
熟悉我们的老用户，应该知道我们一直都是实行阶梯价格、优惠递减的，这次也不例外：先到先得、越早报名越优惠（原价$1999美元）。以下价格单位为美元：
你是否能在更好的公司做更优秀的自己？投资自己，全方位提升能力，为自己增添被验证有效的宝藏项目经历！赶快报名吧！
