研发视角浅谈R2流量回放测试
内容提要
测试小伙伴们在2023年保障了团队线上系统0问题，得益于测试组同事的细致投入和多重保险策略工作。流量回放是最佳的方式，录制线上真实流量到预发引流环境进行回放，优点是业务代码零侵入、结果diff比对、问题定位精准。回放分离线DIFF和实时DIFF，读接口回放进行兜底的回归校验，写接口回放需要注意操作不慎导致脏数据。回放覆盖率统计可以生成覆盖率报告。回放结果比对需要制定灵活的比对策略，有些Diff比对不一致需要查看logbook日志寻找原因。
延伸解读
读接口回放的风险与应对
文章指出，读接口回放虽能进行兜底回归，但接口可能因后续变更引入写操作。例如，Promise时效域-下传控制接口原本只读，后来上线了门店产能占用写逻辑，回放时若未关闭写开关，会导致占用线上产能。团队临时方案是：若读接口变为读写，需在Ducc引流环境关闭对应写功能开关，并每次回放前人工校验写链路。这提醒我们，回放前必须确认接口的写行为，避免副作用。
写接口回放的策略选择
写接口回放需特别注意脏数据问题。文章建议，写接口mock意义不大，可搭建UAT引流回放环境，对部分依赖mock，结果比对应关注关键数据和日志而非简单diff。另一种思路是参考全链路压测，通过修改入参传递forcebot标识，让代码走影子环境，写操作落到影子库，避免污染线上数据。这些方法各有复杂度，需根据系统实际情况选择。
Diff比对策略的灵活性
回放结果比对需制定灵活策略，以减轻排错成本。文章强调，要熟悉API出入参和业务，根据场景采用关键字段对比、结构对比等方式，并忽略非核心字段。对于不一致的Diff，需查看logbook日志分析原因，可能是配置修改或真实bug。此外，若需求逻辑变更，Diff不一致是预期的，此时回放目的转为丰富测试用例，而非单纯比对。
特殊场景流量的获取与价值
大促或春节等特殊场景流量日常难以获取，但对测试大促相关需求至关重要。文章提出几种思路：通过R2入参过滤录制特殊流量，但需注意不影响线上性能；若接口依赖多，可mock下游结果；或从logbook日志中提取业务入参出参，人工整理流量。由于时间久远，出参结果可能已不适用，核心价值在于入参，可用来构造回放用例。
Q&A
流量回放的主要优点是什么？
流量回放的主要优点包括业务代码零侵入、真实链路调用、多场景覆盖、数据可查、结果diff比对和问题定位精准。
如何确保流量录制覆盖到所有业务场景？
确保流量录制覆盖所有业务场景需要关注录制的流量是否足够，并使用流量过滤和去重功能来提高效率。
离线DIFF和实时DIFF有什么区别？
离线DIFF适用于不需要时效性的场景，而实时DIFF适合时效性强的场景，如计费和活动等。
在流量回放中，写接口需要注意什么？
写接口需要注意操作不慎可能导致产生脏数据，影响业务，因此应谨慎处理并考虑使用Mock回放。
如何制定灵活的Diff比对策略？
制定灵活的Diff比对策略需要关注关键字段和出入参，灵活采用关键字段对比、结构对比等策略，并根据场景调整。
流量回放的覆盖率统计有什么作用？
流量回放的覆盖率统计可以帮助识别代码盲区，确保测试的全面性，并生成覆盖率报告。
