用户纠正一次，模型下次还是会错：Shopify怎样把失败写进权重
内容提要
Shopify 的 GraphQL Agent 将生产失败转化为难例，经审查生成成功轨迹，再通过监督微调和强化学习，形成能拒绝坏更新的反馈闭环。系统提示从 6000 Token 压缩到 1500 Gist Token，年化推理成本估算降低 96%。落地应先建质量量表和独立回放集，再挖掘难例，最后微调。
延伸解读
成本降幅的适用边界
文章提到Shopify年化推理成本从约2700万美元降至接近100万美元，降幅96%，但强调这些数字来自其自身系统与估算，未公开完整模型、数据集和统一成本表。读者应将其视为特定条件下的参考，而非普遍承诺。更可核验的指标是系统提示从约6000 Token压缩到约1500 Gist Token，以及压测中首Token时间下降约19%、端到端延迟下降约38%、GPU需求减少约14%。
提示压缩与模型微调是两件事
文章明确区分了提示压缩与模型微调：长而稳定的系统提示通过教师-学生模型压缩为少量可学习的Gist Token，解决的是提示长度带来的推理成本；而监督微调和强化学习则利用成功轨迹和奖励信号更新模型权重，解决的是模型行为质量。两者路径不同，不能混为一谈，落地时需分别评估各自收益与成本。
难例晋级需要独立门禁
文章给出的最小实践脚本要求候选模型在独立回放集上质量提升至少0.02、安全分不下降、成本不增加才允许晋级。生产门禁还应按任务类型拆分，高风险类别如退款权限需设置最低通过率和零容忍规则，并保留时间切分测试，用更新且未见过的窗口验收，避免把重复会话记忆误判为泛化提升。
用户纠正不等于可靠标签
文章提醒，用户纠正可能源于误解规则、恶意诱导或表达偏好，不能直接作为训练标签。安全做法是将其视为待审核信号，与工具执行结果、业务规则和抽样人工标注交叉验证后再决定是否进入训练集。否则反馈量越大，模型越可能学会最响亮而非最正确的意见，导致偏差被自动放大。
Q&A
Shopify的GraphQL Agent是如何把生产失败转化为模型改进的？
Shopify将生产中的低分对话作为难例，经多个推理模型批评和仲裁器合并修复指令，生成成功轨迹，然后通过监督微调和强化学习更新模型权重，形成能拒绝坏更新的反馈闭环。
Shopify的GraphQL Agent在成本和性能上取得了哪些具体优化？
年化推理成本估算从约2700万美元降到接近100万美元，降幅96%；系统提示从约6000 Token压缩到约1500 Gist Token；在每分钟350请求压测中，首Token时间下降约19%，端到端延迟下降约38%，所需GPU减少约14%。
Shopify如何确保训练数据中的难例是高质量的？
Shopify先定义质量契约，包括完整性、执行成功、回答质量和安全等评分项，并保留随机流量。低分对话成为难例，经多个推理模型批评和仲裁器合并修复指令，生成更好的轨迹。用户纠正被视为待审核信号，需与工具执行结果、业务规则和抽样人工标注交叉验证。
在生产环境中部署持续学习系统需要哪些门禁和风险控制？
生产门禁需按任务类型拆分，为高风险类别设置最低通过率和零容忍规则，并保留时间切分测试。每次上线要保存数据版本、基础模型、训练配置、分层指标和可回滚工件。还需处理个人数据、客户隔离、恶意反馈与版权问题，进行匿名化、去重、授权并保留删除链路。
持续学习适合哪些场景？不适合哪些场景？
适合高频、可评分、工具结果可验证的垂直任务，如查询生成、分类和客服流程。不适合样本极少、标签高度主观或错误代价极高却没有专家复核的场景。
对于想落地持续学习的团队，最小实践步骤是什么？
先建立质量量表和独立回放集，再挖掘难例，最后才考虑微调。具体可从最近一周失败工单中选一个高频类型，写出五条可判定的通过标准，构建20到50条不参与训练的回放集。若无法稳定判定好答案，先不要启动训练飞轮。
