产品实验中的反事实方法：评估AI提示词工程的效果
内容提要
本文介绍如何利用反事实估计方法，从LLM产品日志中评估提示词变更的因果效应。通过T-learner和X-learner模型，结合自举置信区间，可预测每位用户在不同提示词下的表现差异。该方法支持选择性路由策略，将用户分配给最优提示词，提升整体转化率。同时需注意模型误设、未测量混杂因素等失败模式，确保估计可靠性。
延伸解读
为什么日志数据不是实验
生产日志中的提示词分配往往不是随机的，用户看到哪个提示词可能受工作区、功能开关、时段等因素影响。直接比较两组用户的平均结果会混入这些系统性差异，导致对提示词效果的误判。反事实估计方法正是为这种非随机场景设计的，它通过建模每个用户在两种提示词下的潜在结果来分离因果效应。
T-learner与X-learner的适用场景
T-learner简单直接，但在处理组样本极少时（如200个处理组对4800个对照组），其效果模型会因数据不足而不可靠。X-learner通过分阶段建模和倾向得分加权，在样本不平衡时表现更优。在平衡数据上两者结果接近，但实际生产数据往往不平衡，因此掌握X-learner更有实用价值。
置信区间与决策风险
仅有点估计不足以支撑决策。自举法得到的95%置信区间反映了估计的不确定性。若区间包含零，则差异可能由随机波动造成，需谨慎行动。即使区间全为正，其宽度也提示了风险：例如文中区间跨度约3.8个百分点，意味着选择性路由策略在低端可能不如全面铺开。设定路由阈值时应考虑区间宽度，而非仅看点估计。
反事实估计的失败模式
模型误设、未测量的混杂因素、正定性违反和SUTVA违反都可能导致估计失效。例如，若路由决策受工作区大小影响而该变量未被纳入模型，估计会混淆工作区效应与提示词效应。实践中应检查倾向得分分布、使用灵活基学习器并验证模型稳定性，同时警惕团队协作场景中的溢出效应。
Q&A
什么是反事实估计，它在产品实验中的作用是什么？
反事实估计是一种统计方法，用于回答“如果当初采取了不同的行动，结果会怎样”这类回顾性问题。在产品实验中，当无法进行前瞻性随机实验时，它利用已有的日志数据，通过建模预测每个用户在不同处理下的潜在结果，从而评估如提示词变更等干预措施的因果效应。
为什么生产日志数据不能直接用于因果推断？
因为生产日志中的处理分配通常不是随机的，用户看到哪个提示词可能受多种因素影响，如工作区、功能开关、时间等。这些因素中有些被记录，有些未记录，导致简单比较不同处理组的平均结果会混杂处理效应与组间系统性差异，无法得到纯因果效应。
T-learner和X-learner在估计CATE时有何不同？
T-learner分别对处理组和对照组拟合两个独立的模型，然后对每个用户预测两种潜在结果并取差值。X-learner则分三阶段：先拟合两个结果模型，然后计算每个用户的个体效应（imputed effects），再用这些效应拟合两个tau模型，最后用倾向得分加权组合两个tau模型的预测。X-learner在处理不平衡处理组时表现更好，因为它能利用倾向得分加权来平衡数据。
如何为CATE估计添加置信区间？
使用自举法（bootstrap）添加置信区间。具体做法是：从原始数据中有放回地抽取与原始样本量相同的样本，重复多次（如500次），每次重新拟合整个估计流程（包括结果模型、tau模型、倾向得分模型），计算平均CATE，最后取这些平均CATE的2.5%和97.5%分位数作为95%置信区间的上下界。
如何将CATE估计转化为具体的产品策略？
通过设定一个阈值，将CATE大于阈值的用户分配给新提示词（如Prompt B），其余用户保留原提示词（如Prompt A）。然后计算该策略下的平均CATE和总提升。例如，阈值设为0.02时，70%的用户被路由到Prompt B，平均CATE为+0.032，总提升为1120个额外完成。这种选择性路由比全面部署能获得更高的平均效果，但需权衡阈值高低带来的覆盖面和效果。
反事实估计有哪些常见的失败模式？
常见的失败模式包括：模型误设（如使用线性模型但真实关系非线性）、正定性/重叠性违反（某些用户群体只接受一种处理）、未测量的混杂因素（如工作区大小同时影响处理和结果）、协变量支持不重叠（处理组和对照组在特征空间无交集）、SUTVA违反（用户间存在干扰）。这些都会导致CATE估计有偏。
在生产环境中实施反事实估计有哪些建议？
建议使用更灵活的基学习器（如梯度提升）以捕捉非线性关系；使用成熟的库如econml或causalml，它们提供自动模型选择和诊断工具；利用影子流量（shadow traffic）收集真实生产分布的数据；在部署前检查倾向得分分布和重叠性；结合领域知识进行特征工程以控制混杂。
