一分钟读论文：《谁来验收AI基建的代码》
内容提要
爱丁堡大学与腾讯混元发表论文提出InfraDev基准，用36个真实AI基础设施任务测试编码Agent。最强模型GPT-6 Sol解决率仅38.9%；隐藏探针使32%通过官方测试的提交被判失败，说明现有测试不完整。推理任务难度最高，提示词缺失接口说明影响更大。将失败模式整理成规范文档后，GPT-5.6 Sol解决率提升10.5个百分点。
延伸解读
官方测试为何不可靠
论文指出，36个PR中有24个没有任何测试检查数值结果，15个性能优化PR中有13个没有测试检查承诺的提速，跳过优化的补丁照样通过。这说明用PR自带测试判卷会系统性高估Agent能力。隐藏探针在102份全过官方测试的提交中毙掉32%，六个模型解决率全部下降11到19个百分点，评估口径的差异直接改变结论。
38.9%该怎么读
GPT-6 Sol的38.9%是官方测试加探针联合打分下的解决率，口径为全部测试通过，并非通用编程能力分。每任务平均耗时43.9分钟、估算成本5.37美元、消耗20.86M tokens，且每任务只跑一次、无方差。推理任务尤其薄弱，每个模型在10个推理任务中都只解决1个，读者不宜把该数字外推到其他编码场景。
提示词比测试更致命
直接拿PR原始GitHub描述当任务书时，没有任何模型解决哪怕一个任务；缺失接口说明的提示词，杀伤力比测试不完整更大。失败归因显示结构性错误与状态性错误占主导，Agent自写测试几乎从不检查显存占用、运行耗时、通信流量，且三分之二错误被多数模型共享，不同厂商的模型在栽同样的跟头。
规范文档的边际收益
把失败模式整理成AI基建开发规范的agent skill后，GPT-5.6 Sol在19个任务的Megatron-LM子集上从42.1%升到52.6%，提升10.5个百分点，但干预对象不是榜单冠军GPT-6 Sol。需注意32%的假阳性是论文自建探针互证口径，并非独立ground truth；论文称将开源InfraDev但尚未上线，全文为未经同行评审的预印本。
Q&A
InfraDev 基准测试的是什么？
InfraDev 基准测试编码 Agent 开发 AI 基础设施（训练、推理、强化学习框架的代码）的能力，使用 36 个真实任务进行评估。
目前最强的编码 Agent 在 InfraDev 上的解决率是多少？
最强模型 GPT-6 Sol 的解决率仅为 38.9%，是六个前沿模型中最高的。
为什么官方测试会高估 Agent 的能力？
因为官方测试不完整：36 个 PR 中 24 个没有检查数值结果的测试，15 个性能优化 PR 中 13 个没有检查提速的测试，导致跳过优化的补丁也能通过。
隐藏探针在评估中起了什么作用？
隐藏探针是新写的验收测试，只要求通过合并时的正确补丁，不泄露解法。它毙掉了 32% 通过官方测试的提交，使六个模型的解决率下降 11 到 19 个百分点。
哪类 AI 基建任务对 Agent 来说最难？
推理任务最难：每个模型在 10 个推理任务中都只解决了 1 个。
提供领域规范文档能带来多大提升？
将失败模式整理成 AI 基建开发规范的 agent skill 后，GPT-5.6 Sol 在 19 个任务的 Megatron-LM 子集上解决率从 42.1% 提升到 52.6%，提高了 10.5 个百分点。
