一分钟读论文：《代码会写，接着写不会》
内容提要
Klavis AI 论文提出 Multi-step SWE 基准，用 69 个任务、574 步连续改动测试编程智能体能否在自身代码上持续开发。最强模型 Claude Opus 5.5 单步通过率 56.8%，但整任务解决率仅 18.5%，Pass@4 为 31.9%，其余 8 款模型均不超 17.8%。错误从第一步起累积，多数失败源于方向走错而非算力不足。局限包括验证器误判、能力与脚手架未分离，且题目偏底层语言，结论不宜外推为通用编程能力。
延伸解读
单步通过率与整任务解决率的落差说明什么
Claude Opus 5.5 单步通过率 56.8%，整任务解决率却只有 18.5%，相差 38.3 个百分点。这说明在连续多步任务中，每一步单独看错误率不高，但要求整条链路每步都满分时，误差会迅速放大。读者不宜用单步成绩推断智能体能否独立完成需要多轮迭代的开发工作，两者衡量的是不同能力。
失败主因是方向走错而非预算不足
基准给每步 2–4 小时预算，但只有 12% 的失败步骤接近时限，6 款模型的中位失败步骤仅用掉 24%–37% 预算，仅 3% 的失败以时间预算为停止理由。这提示多数失败源于早期设计或方向判断错误，而非算力不够。对使用者的含义是：单纯增加时间或调用次数未必能提升整任务成功率，更应关注智能体在早期步骤的决策质量。
18.5% 不宜当作通用编程能力得分
该结果来自单一机构，评测框架由关联方维护，开源仓库 stars 仅 2，社区独立复现为零。任务分布偏底层语言，C/C++ 占 38 题，Python 仅 3 题，且能力与脚手架未分离。因此 18.5% 只反映这套任务分布下的表现，外推到普通业务代码库需谨慎，读者应把它视为特定基准下的参考值而非通用排名。
Q&A
Multi-step SWE 基准主要测试编程智能体的什么能力？
测试编程智能体能否在自己的代码上持续开发，即完成多步相互依赖的连续改动。基准包含 69 个任务、共 574 步，每个任务 5–15 步。
Claude Opus 5.5 在 Multi-step SWE 上的表现如何？
单步通过率 56.8%，但整任务解决率仅 18.5%，Pass@4 为 31.9%。整任务解决率要求一条 rollout 在每一步都拿满分才算解决。
为什么编程智能体单步通过率不低，但整任务解决率却很低？
错误从第一步就开始累积。随着步数增加，仍在正轨的 rollout 比例急剧下降，早期设计失误会一路滚雪球，导致后续步骤即使单步错误率变化不大，整链也几乎必断。
智能体失败的主要原因是算力不足吗？
不是。只有 12% 的失败步骤接近时限，多数失败步骤只用了 24%–37% 的预算，仅 3% 因时间预算停止。多数失败是方向走错，而非算力不足。
Multi-step SWE 基准有哪些局限性？
包括验证器可能误判、能力与脚手架未分离（无法区分模型能力与任务串联难度的影响），且题目偏底层语言（C/C++ 占 38 题），结论不宜外推为通用编程能力。
其他模型在 Multi-step SWE 上的整任务解决率是多少？
其余 8 款模型均不超过 17.8%：Claude Fable 5.1 为 17.8%，Gemini 4 Argon 与 GPT-6.1 Sol 同为 10.1%，GPT-6 Astra 为 6.9%，DeepSeek V4.1 Flash 为 6.5%，Qwen 3.8 Max 为 4.0%，MiMo 2.6 Pro 为 2.9%，Grok 4.7 仅 1.4%。
