LLM何时能替代人类进行A/B测试？
内容提要
LLM预测可替代人类进行A/B测试，但需满足替代性和可比性假设。在Upworthy数据集中，校准LLM输出可恢复治疗效果，但线性校准失败，机器学习方法更有效。新治疗越偏离历史数据，假设越不可验证，LLM优势与风险并存。人类实验仍不可或缺，LLM可辅助筛选和降方差，但不能完全替代。
延伸解读
核心假设与验证困境
LLM替代人类进行A/B测试的前提是替代性和可比性假设，但这两个假设无法在新治疗上得到验证。新治疗越偏离历史数据，假设越不可靠。因此，LLM的优势（快速、低成本）恰恰在其最不可靠的场景中体现，而人类实验在真正创新中仍不可或缺。
校准方法的选择至关重要
在Upworthy数据集上，线性校准（OLS）未能通过验证，而机器学习方法（随机森林、梯度提升树）能有效恢复治疗效果。这表明校准函数需足够灵活以捕捉LLM预测与人类行为之间的非线性关系。此外，多次采样取平均可减少LLM随机性带来的偏差。
适用范围与风险
Upworthy数据集是理想测试案例（二元结果、文本相似），但实际产品团队面临多样化实验，假设更难成立。LLM预测可辅助筛选和降方差，但无法替代用户实验。校准函数随模型更新可能失效，需持续用新用户实验验证。
Q&A
LLM预测能否完全替代人类进行A/B测试？
不能完全替代。LLM预测可以在满足特定假设（替代性和可比性）的情况下作为人类结果的替代，但需要校准和验证，且对于全新治疗，假设无法验证，人类实验仍不可或缺。
LLM替代人类进行A/B测试需要满足哪些假设？
需要满足两个假设：替代性（LLM输出完全中介治疗对人类结果的影响）和可比性（LLM预测与人类结果之间的校准函数在新实验中与历史数据保持一致）。
在Upworthy数据集上，使用LLM预测进行A/B测试的效果如何？
使用gpt-4o-mini的原始预测只能恢复39%的人类治疗效果，且偏差是系统性的，使治疗效果趋向于零。但通过机器学习方法（如随机森林）进行校准后，可以恢复治疗效果。
为什么线性校准在LLM预测中失败，而机器学习方法更有效？
线性校准（OLS）过于刚性，无法捕捉LLM预测与人类行为之间的非线性关系，导致校准效果不佳（偏离人类基准3.8个标准误）。而机器学习模型（随机森林、梯度提升树）足够灵活，能学习这种非线性关系，从而有效校准。
LLM预测的随机性对A/B测试结果有何影响？如何缓解？
LLM预测的随机性（采样温度）会导致效应估计偏向零并增加方差。缓解方法是多次采样并取平均值，这样可以减少噪声，使预测更接近真实信号。
LLM替代人类实验在哪些情况下风险最大？
当新治疗与历史实验差异越大时，替代性和可比性假设越不可验证，风险越大。例如，改变布局、算法或定价的治疗，LLM替代的合理性更难保证。因此，LLM最有益的场景（全新干预）恰恰是最不可靠的。
LLM预测在A/B测试中除了替代人类，还有哪些辅助作用？
LLM预测可以用于筛选弱想法，避免浪费实验资源，也可以作为协变量进行方差缩减，提高实验效率。但前提是有强大的历史数据且新治疗与过去相似。
LLM模型更新对校准函数有何影响？
校准函数是针对特定模型在特定时间点拟合的，模型更新后可能失效。因此，需要定期用新用户实验重新校准，否则可能产生时间偏差。
