A/B测试：全面指南
内容提要
A/B测试通过将用户随机分为对照组和实验组，比较网页或产品不同版本的效果，以数据驱动决策。其适用场景为流量充足、假设明确、有可测指标。流程包括：定义问题陈述、提出可检验假设、设计实验（确定关键指标、与UX/工程/数据团队协作、随机分组、计算样本量）、低曝光逐步运行并监控、做数据合理性检查、用统计方法分析结果并决定是否上线。
延伸解读
何时适合做A/B测试
文章指出，A/B测试并非万能，需满足几个前提：流量和转化量足够以获得可靠结果；有明确的假设和可衡量的结果；有足够时间正确运行，避免偷看、过早停止或同时运行太多测试等常见陷阱；并且团队准备好根据结果采取行动。如果这些条件不满足，测试可能浪费资源或得出无效结论。
假设的写法与统计设定
文章强调假设应是可检验的陈述，并给出三步模板：基于证据识别问题、提出改变及预期结果、明确衡量指标。同时引入零假设和备择假设，以及显著性水平和统计功效的概念。显著性水平越低，越能确保差异不是偶然；统计功效则是当备择假设为真时检测到效应的概率。这些设定有助于后续结果解读。
实验设计中的跨团队协作
设计实验需要与多个团队配合：定义关键指标（如每用户每月收入），与UX团队设计控制版和测试版，与工程团队实现和部署变体，与数据团队建立监控系统收集指标。此外，还需决定随机分组方式（如基于cookie、用户ID或IP），并计算所需样本量，样本量取决于预期效应大小、指标标准差、显著性水平和功效。
运行与解读的注意事项
运行实验时应从低曝光率开始，逐步增加，并避免在实验结束前偷看结果或过早下结论。实验持续时间可能从几天到几个月不等。解读结果前需做数据合理性检查，如流量分配是否正确、不变指标是否一致、有无外部因素影响。若数据有问题应丢弃并重跑。分析时可用假设检验、置信区间和效应大小比较变体，若有明确赢家则上线，若平局则可能需要新假设或更大样本量。
Q&A
A/B测试是什么？它的基本原理是什么？
A/B测试是一种比较网页、应用或其他产品两个版本效果的方法。它将用户随机分为两组：对照组（A组）看到原始版本，实验组（B组）看到修改后的版本。通过测量各组用户的行为（如停留时间、访问页面数、操作次数、收入等），比较哪个版本更有效地实现目标。当有超过两个版本时，称为A/B/C或A/B/N测试。
什么情况下适合运行A/B测试？
适合运行A/B测试的情况包括：有足够的流量和转化量以获得可靠结果；有明确的假设和可衡量的结果；有足够时间正确运行测试，避免偷看、过早停止或同时运行太多测试等常见陷阱；并且准备好根据结果采取行动。
如何定义一个有效的A/B测试假设？
定义假设需要三个步骤：1）基于证据明确问题，例如“我们通过销售数据发现去年电商网站销量下降”；2）提出改变方案及预期结果，例如“我们相信加入社会证明元素（如显示‘过去24小时内有X人购买’）可以制造紧迫感并促使购买”；3）明确衡量成功的指标，例如“当我们看到收入或销量增加时，就知道达成了目标”。假设应包含零假设（两组指标相同）和备择假设（两组指标不同），并设定显著性水平和统计功效。
设计A/B测试实验时需要哪些步骤？
设计实验的步骤包括：1）定义关键指标（如每用户每月收入）；2）与UX团队合作设计两个版本（对照组和实验组）；3）与工程团队合作实现和部署变体；4）与数据团队合作建立监控系统收集指标数据；5）决定随机分组方法（如基于cookie、用户ID或IP）；6）确定样本量，考虑预期效应大小、指标标准差、显著性水平和统计功效，可使用公式或计算器估算。
运行A/B测试时需要注意哪些事项？
运行实验时，应从低曝光率开始，随着信心增加逐步提高；收集关键指标数据并跟踪变化；与开发团队合作构建仪表板显示指标值和统计显著性；避免在实验结束前偷看结果和过早下结论；确保实验持续足够长时间以获得足够数据，具体时间取决于流量和转化率，可能需数天、数周或数月。
如何解释A/B测试的结果并做出决策？
首先进行健全性检查，确保数据可靠有效，例如检查流量分配是否正确、不变指标在组间是否一致、是否有外部因素影响结果。如果数据有问题，应丢弃并重新运行实验。数据可信后，使用统计方法（如假设检验、置信区间、效应大小）比较变体表现，判断是否有明显胜出者或平局。若有胜出者，则实施获胜变体并结束实验；若平局，可能需要用不同假设或更大样本量重新实验。
