文章讨论能否仅凭离线评估决定上线AI功能。理论上可行,但需满足强假设:离线与线上效果关系稳定、数据同质、测量误差可控。噪声会低估相关性,例如实测24%而真实为60%。若LLM评审偏见随实验组变化,会扭曲结果。上线后停止A/B测试将失去真值,需通过审计样本监测漂移。实践中门槛较高,Spotify仍将离线评估与在线实验结合使用。
完成下面两步后,将自动完成登录并继续当前操作。