【原理到实战】实验异质性分析
💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
实验的异质性（HTE）指同一处理对不同样本的效果差异。主要概念包括平均处理效应（ATE）、条件平均处理效应（CATE）和个体处理效应（ITE）。异质性分析有助于理解策略对不同用户的影响，优化实验设计，并挖掘业务逻辑。通过分析，发现某些子人群在实验中表现出显著的正向或负向效果，为后续策略调整提供依据。
🎯
关键要点
- 实验的异质性（HTE）指同一处理对不同样本的效果差异。
- 主要概念包括平均处理效应（ATE）、条件平均处理效应（CATE）和个体处理效应（ITE）。
- 异质性分析有助于理解策略对不同用户的影响，优化实验设计，并挖掘业务逻辑。
- 通过分析，发现某些子人群在实验中表现出显著的正向或负向效果，为后续策略调整提供依据。
- 异质性分析可以帮助寻找策略最优子人群，减少无效策略的损失。
- 在某产品线下的实验中，约23%的实验未发现异质性。
- 异质性分析的维度选择需满足分析维度与实验分流无关的条件。
- 推荐的实验分析方式包括对不同活跃度人群的策略效果进行分析。
- 实验异质性分析的结果可以为产品经理提供针对性的优化建议。
❓
延伸问答
什么是实验的异质性（HTE）？
实验的异质性（HTE）指同一处理对不同样本的效果差异。
异质性分析的主要目的是什么？
异质性分析有助于理解策略对不同用户的影响，优化实验设计，并挖掘业务逻辑。
平均处理效应（ATE）和条件平均处理效应（CATE）有什么区别？
ATE是所有实验对象的平均实验效果，而CATE是满足一定条件的实验对象的平均实验效果。
如何选择异质性分析的维度？
选择的维度需满足分析维度与实验分流无关的条件，即T⊥X。
异质性分析可以为产品经理提供什么建议？
异质性分析的结果可以为产品经理提供针对性的优化建议，帮助调整策略。
在某产品线下的实验中，发现了多少比例的实验没有异质性？
约23%的实验未发现异质性。
➡️
