一分钟读论文：《交付验收需要一个会说理由的裁判》
内容提要
arXiv 预印本 SWE-Critix 指出，通用推理模型直接作为编程 agent 的验收裁判并不合格。经监督微调与强化学习后训练，裁判的完成判定准确率从基座 57% 提升至 78%，并能用自然语言解释判断依据。该裁判可审计、可定位缺陷，模型、数据集与代码均开源。但论文未经同行评审，数据来自自产轨迹集，其他领域表现尚未验证。
延伸解读
从57%到78%：后训练如何提升裁判可靠性
论文显示，基座模型直接作为编程agent的验收裁判，完成判定准确率仅57%，经监督微调后升至66%，再经强化学习达到78%。超过二十个百分点的提升说明，通用推理模型不经过专门训练，难以胜任交付验收。这一结果提示，在缺乏预言机评测器的场景中，专门后训练的裁判可能比直接调用通用大模型更可靠。
会说理由的裁判：可审计与缺陷定位
与只输出标量分数的传统critic不同，SWE-Critix的裁判会生成自然语言分析，解释判断依据。这种可解释性让下游不仅能排序，还能直接获取评审意见或定位轨迹中的问题步骤。对于人工复核成本极高的长轨迹任务，这种可审计的裁判提供了更实用的价值。
边界与风险：预印本、自产数据与领域外推
需注意三点：其一，论文是未经同行评审的预印本，所有数字来自作者自报的held-out测试集；其二，训练数据CodeForge-Preview是该团队自产的代码域轨迹集，裁判在其他领域的表现未经验证，不能直接外推；其三，开源承诺覆盖模型、数据集与代码，但以论文声明为准。读者在参考时应保持审慎。
Q&A
SWE-Critix 是什么？它主要解决什么问题？
SWE-Critix 是一篇 arXiv 预印本论文提出的方法，旨在训练一个会说理由的通用裁判，用于评估编程 agent 的交付完成情况。它解决的是编程 agent 执行端到端软件工程任务时，缺乏现成预言机评测器，导致完成判定只能靠人或模型来裁的问题。
通用推理模型直接当编程 agent 的验收裁判效果如何？
效果不合格。论文指出，拿通用推理模型裸当裁判，完成判定分类准确率只有 57%，离可用还有距离。
SWE-Critix 裁判经过后训练后，准确率提升了多少？
基座模型准确率为 57%，经过监督微调（SFT）后提升到 66%，再经过强化学习（RL）后达到 78%，总共提升了超过 20 个百分点。
SWE-Critix 裁判与传统的标量 critic 有什么区别？
传统 critic 只输出一个标量分数，无法审计，也说不清失败原因。SWE-Critix 裁判除了输出完成标签，还会用自然语言解释判断依据，能定位缺陷，下游可直接用于评审意见或缺陷定位。
SWE-Critix 的训练数据来自哪里？
训练数据来自 CodeForge-Preview 轨迹集，这是该团队自产的代码域轨迹集。
SWE-Critix 有哪些局限性或需要注意的边界？
有三条边界：一是未经同行评审的预印本，数字来自作者自报的 held-out 测试集；二是训练数据为自产代码域轨迹集，在其他领域的表现未验证，不能外推；三是开源承诺覆盖模型、数据集与训练代码，以论文称开源为准。
