本文介绍如何利用反事实估计方法,从LLM产品日志中评估提示词变更的因果效应。通过T-learner和X-learner模型,结合自举置信区间,可预测每位用户在不同提示词下的表现差异。该方法支持选择性路由策略,将用户分配给最优提示词,提升整体转化率。同时需注意模型误设、未测量混杂因素等失败模式,确保估计可靠性。
完成下面两步后,将自动完成登录并继续当前操作。