基于多指标的A/B测试中的风险意识产品决策
内容提要
Spotify的决策引擎通过结合多种指标的A/B测试结果来指导产品决策，强调成功指标、保护指标、恶化指标和质量指标的重要性，并提出相应的决策规则，以降低错误决策的风险。通过结构化实验设计和统计分析，Spotify有效管理产品开发中的风险，确保决策的科学性和一致性。
延伸解读
决策规则与实验设计必须匹配
文章强调，决策规则必须明确，并且实验的设计和分析要与之匹配。如果决策规则与设计分析脱节，错误决策的风险将无法按预期控制。例如，常见的多重检验校正隐含了“任一指标显著即发布”的规则，但这在指标方向冲突时并不适用。Spotify的规则要求至少一个成功指标显著优于控制组，且所有保护指标不劣于控制组，这需要相应的设计调整。
保护指标无需校正假阳性率
一个反直觉的结论是：保护指标（非劣性检验）不需要进行假阳性率的多重检验校正。因为保护指标要求所有指标都非劣，不存在多次机会导致假阳性膨胀的问题。因此，假阳性率只需针对成功指标的数量进行校正。这一发现有助于更合理地分配统计功效，避免不必要的保守调整。
功效校正：保护指标数量的影响
文章指出，当实验包含多个保护指标时，决策规则要求所有保护指标同时非劣，这会导致整体功效急剧下降。例如，5个独立保护指标时，同时显著的概率远低于40%。为此，需要对每个保护指标的功效进行校正，例如将每个指标的功效水平设为β/G（G为保护指标数量），以确保整体决策功效至少达到1-β。
恶化与质量指标的作用
恶化指标（劣性检验）和质量指标（如样本比例不匹配、预曝光偏差）用于验证实验的完整性和安全性。它们增加了决策的保守性，提供了更多停止实验的机会。虽然这些指标主要影响假阴性率的边界，但在实际中，对于常见的α水平（如1%），它们对β校正的影响可以忽略不计，因此可以简化处理。
Q&A
Spotify的决策引擎如何结合A/B测试结果进行产品决策？
Spotify的决策引擎通过结合成功指标、保护指标、恶化指标和质量指标的A/B测试结果，制定科学的产品决策规则。
在A/B测试中，什么是成功指标和保护指标？
成功指标用于测试改进效果，保护指标则用于确保不出现超过某一边界的恶化情况。
如何降低错误决策的风险？
通过结构化实验设计和统计分析，结合明确的决策规则，可以有效降低错误决策的风险。
Spotify的决策规则是什么？
Spotify的决策规则要求在至少一个成功指标上显著优于控制组，同时所有保护指标不劣于控制组，且没有恶化指标显示恶化。
为什么要使用多指标进行产品决策？
使用多指标可以全面评估产品变更的影响，确保决策的科学性和一致性，避免单一指标导致的错误判断。
如何实现A/B测试结果的自动化分析？
通过Spotify的新实验平台Confidence，可以实现实验结果的自动化分析和标准化决策，提高决策的一致性。
