文章讨论了在共享LLM基础设施上进行A/B测试的挑战，特别是用户级随机化的局限性。为了解决这一问题，采用了切换实验设计，通过随机化时间段而非用户，确保所有用户在同一时间段内接受相同的处理。文章详细介绍了构建切换时间序列、调整滞后效应、使用HAC标准误差和引导置信区间的方法，以准确评估AI路由对任务完成率的影响。最后强调在进行基础设施投资前，需评估直接效应和滞后效应的经济性。