AB实验分流方式：发现最优分组概述
内容提要
本文介绍了如何应对试验前误差以提高AB测试结果的可靠性和准确性，包括AA回溯、最优随机分组和方差减缩技术。结合货拉拉的实践场景，提出了离线分流概念，通过历史数据将试验方针分为差异很小的组，进一步提高试验结果的可信度。文章还介绍了离线分流的操作流程和运筹优化方法，并给出了实例阐明。总结指出，试验前误差会影响AB测试的实际效果，离线分流算法可以改善试验结果。
延伸解读
试验前误差的隐蔽影响
文章以微软Edge浏览器AB试验为例，说明即使看似无关的改动（如数据存储格式）也可能因试验前误差导致关键指标下降且p值为0.01，被误判为假阳性。这种误差源于分组时试验组和对照组在试验前就存在差异，而非试验干预本身。若简单归因于数据波动，可能错过真实问题，重开试验又耗时费力。因此，识别并控制试验前误差是提升AB测试可信度的关键前提。
离线分流：用历史数据优化分组
针对细分场景或粗粒度分流导致的试验前误差，文章提出离线分流方法。其核心是利用用户或司机历史行为与试验期间行为的相关性，通过随机搜索或运筹优化，从历史数据中找出差异最小的两组或多组。操作流程包括确认试验方针、设定分流参数、生成分流计划及试验设计点评。相比仅依赖随机种子，离线分流能更主动地降低试验前差异，提高分组同质性。
运筹优化与随机搜索的取舍
离线分流支持随机搜索和运筹优化两种方式。随机搜索通过大量随机种子生成分流计划，筛选满足同质性要求的方案；运筹优化则利用遗传算法求解最小化组间差异的优化问题，可定义损失函数（如MSE或Huber loss）并处理多指标、多时间片等复杂约束。文章指出，运筹优化能在相同时间内找到更优解，但随机搜索更简单易行。实际应用中需根据场景复杂度和计算资源权衡选择。
实践验证与效果边界
在货拉拉的实践中，离线分流算法取得了较好的试验效果。文章通过模拟对比发现，在user_id随机分流基础上，仅选取试验前人均单量相对差异在0.25%以内的分流（约占16%），能显著提高试验中两组差异在0附近集中的程度，从而增强分流同质性。但需注意，该方法依赖历史数据与试验期间行为的相关性，且同质性判别标准（如阈值0.05或相对差异<1%）需结合业务场景设定，并非万能。
Q&A
什么是试验前误差，它如何影响AB测试的结果？
试验前误差是指在AB测试开始前，试验组和对照组之间存在的差异，这种差异会导致测试结果的不可靠性和假阳性。它影响了AB测试的准确性。
离线分流的概念是什么，它是如何提高AB测试的可信度的？
离线分流是通过历史数据将试验方针分为差异小的组，以提高AB测试的可信度。它利用用户或司机的历史行为相关性来优化分组。
微软在AB测试中使用了哪些技术来应对试验前误差？
微软使用了AA回溯、最优随机分组和方差减缩三种技术来应对试验前误差，提升测试结果的可信度。
离线分流的操作流程包括哪些步骤？
离线分流的操作流程包括确认试验方针、分流参数、生成分流计划和试验设计点评等步骤。
运筹优化方法在离线分流中起到什么作用？
运筹优化方法能够找到最优的分流方案，减少试验前差异，从而提高试验结果的同质性和可靠性。
在货拉拉的实践中，离线分流算法取得了怎样的效果？
在货拉拉的实践中，离线分流算法取得了良好的试验效果，显著提高了AB测试的可信度。
