为什么Spotify不使用贝叶斯A/B测试
内容提要
贝叶斯A/B测试并非单一方法，其效果取决于先验和停止规则等配置。默认平坦先验加后验概率阈值会重现频率派的偷看问题，而贝叶斯因子停止可控制错误率。经验贝叶斯先验能纠正赢家诅咒，但需高质量维护。贝叶斯与频率派方法在常见配置下等价，Spotify因维护成本高，暂不采用贝叶斯推断。
延伸解读
贝叶斯并非单一方法，配置决定性质
文章强调，贝叶斯A/B测试并非一种固定方法，而是由停止规则、先验和似然共同定义的多种配置的集合。不同配置提供不同的统计保证：平坦先验加后验概率阈值会重现频率派的偷看问题，而贝叶斯因子停止则能控制错误率。因此，讨论贝叶斯时需明确具体配置，否则容易混淆目标与工具。
经验贝叶斯先验的维护成本高
文章指出，经验贝叶斯先验能纠正赢家诅咒并控制错误发现率，但需要高质量维护：历史实验语料需足够大（有时超过200个实验）且具有代表性，避免跨程序或跨指标的错误池化。若先验校准不当，反而会降低估计精度和检测能力。对于多数团队，维护先验的复杂性可能超过其带来的收益。
贝叶斯与频率派方法在常见配置下等价
文章发现，在平坦先验和双组正态模型下，贝叶斯与频率派方法产生数值相同的结果：后验均值等于最大似然估计，后验概率等于1减p值。此外，混合序贯概率比检验（mSPRT）与贝叶斯因子停止在相同先验下等价。因此，两种框架并非对立，许多常见配置的保证是重叠的。
Spotify暂不采用贝叶斯推断的原因
Spotify认为，支持两种推断模式会带来高维护成本，包括不同的规划、监控和解释方式，且可能增加误配置风险。虽然经验贝叶斯先验能提供额外优势，但维护其质量需要大量资源。目前，Spotify更关注确保现有频率派工具的正确使用，而非引入新框架。
Q&A
为什么Spotify不使用贝叶斯A/B测试？
Spotify认为贝叶斯A/B测试并非单一方法，其效果取决于先验和停止规则等配置。维护一个高质量的贝叶斯先验（如经验贝叶斯先验）成本高，且支持两种推断模式会增加复杂性，而当前频率派方法已能满足其实验项目的需求，因此暂不采用贝叶斯推断。
贝叶斯A/B测试的常见误解有哪些？
常见误解包括：贝叶斯测试不需要校正偷看、能自动处理多重指标、能修复赢家诅咒。实际上，这些说法只在特定配置下成立，例如平坦先验加后验概率阈值会重现频率派的偷看问题，而贝叶斯因子停止才能控制错误率；多重指标控制需要经验贝叶斯先验和贝叶斯因子停止；赢家诅咒的修复需要信息性先验，平坦先验则无效。
贝叶斯A/B测试和频率派A/B测试有什么区别？
在常见配置下，贝叶斯和频率派方法在数值上等价，例如平坦先验下后验均值等于最大似然估计，后验概率阈值与频率派拒绝域等价。贝叶斯框架提供了更自然的概率解释，但需要好的先验才能体现差异，而好的先验维护成本高。两者并非对立，许多最优配置在保证上重叠。
什么是贝叶斯因子停止？它有什么优点？
贝叶斯因子停止是一种贝叶斯配置，通过比较治疗效应与零假设的证据来决定是否停止实验。由于贝叶斯因子在零假设下是鞅，因此贝叶斯因子阈值可以在偷看（可选停止）下控制假阳性率。它结合了似然原理和错误率控制，是自然的选择，但很少有平台提供此功能。
经验贝叶斯先验在A/B测试中有什么作用？
经验贝叶斯先验可以从历史实验中估计，用于收缩效应估计以对抗赢家诅咒，并控制错误发现率（FDR）。它需要高质量维护，包括足够大且有代表性的实验语料库，避免跨异质程序或指标的错误池化。如果先验校准良好，可以显著提高估计精度；但如果维护不当，可能比没有先验更糟。
贝叶斯A/B测试的配置有哪些类型？
贝叶斯A/B测试的配置包括：平坦先验加后验概率阈值（默认，但会重现偷看问题）、贝叶斯因子停止（控制假阳性率）、经验贝叶斯先验（收缩估计并控制FDR）、决策理论方法（根据成本函数推导停止规则）。这些配置提供不同的保证，适用于不同的目标。
贝叶斯A/B测试的决策理论方法是什么？
决策理论方法允许将目标表述为成本函数，然后推导最优停止规则。对于许多自然成本函数，最优策略是贝叶斯因子阈值，这也能提供错误率保证。但并非所有成本函数都如此，例如期望损失停止在零效应下也会最终发布，假阳性率约50%，只有在部署零效应变体成本极低时才最优。
贝叶斯A/B测试的常见配置有哪些？
常见的贝叶斯配置包括：平坦先验加后验概率阈值（默认）、贝叶斯因子停止、经验贝叶斯先验、决策理论方法。这些配置在错误率控制、估计精度和决策性能上提供不同的保证。
