一分钟读论文：《AI 交付的最后一公里有多难？》
内容提要
DeepLethe联合清华、上海交大等发布预印本论文，提出聚焦AI交付环节的评测基准FDE-Gym。该基准包含95个带隐藏约束的端到端任务，覆盖20个客户场景、18个行业，由专家从真实项目改编，配有可追问的虚拟干系人和可修改的类生产系统，按交付物对客户成功指标的提升打分，并对交互成本计罚。13个模型配置中最佳平均分仅0.56，95题仅解决14题。论文指出瓶颈不仅在于发现隐藏约束，更在于信息齐全后转化为达标交付物，即“最后一公里”难题。
延伸解读
0.56 分不是成功率，别误读榜单
论文中最好的平均分 0.56 是相对参考解的归一化得分，并不等于任务成功率。按论文定义，只有得分不低于 0.8 且全程无事故才算“解决”，95 题中最好配置仅解决 14 题。读者看这类交付评测时，应区分“得分接近参考解”和“真正达标交付”两件事，否则容易高估模型在现场的可用程度。
问到信息，不等于做出结果
论文的关键测量在于：在 23 个题目中，最好配置已从虚拟干系人处问全关键事实，最终仍只有 10 题达到业务提升 0.8 以上。这说明瓶颈不只是发现隐藏约束，还包括把齐全的信息转化为达标的系统改造与交付物。对从业者而言，提示词或追问能力的提升，未必能同步转化为交付质量。
交互成本计罚，贴近真实交付压力
FDE-Gym 对每次向干系人发消息、试跑和等待都计罚分，评分还绑定客户自身的成功指标，而非单纯任务完成度。这对应现实中反复向客户索要信息会被视为不专业。该设计提醒读者：评估 AI 交付能力时，效率与沟通成本本身就是能力的一部分，不能只看最终产物是否跑通。
预印本结论，口径仍需观察
该论文为 2026 年 10 月挂出的预印本，任务由行业专家从真实项目改编，覆盖 20 个客户场景、18 个行业，但数据口径应以论文后续版本为准。其价值在于把“题目没人写清楚能否交付业务结果”做成考核内容，并开放同一套环境供人练习；引用其分数时应保留预印本与版本更新的限定。
Q&A
FDE-Gym 是什么？它主要评测什么？
FDE-Gym 是一个由 DeepLethe 联合清华、上海交大等团队提出的评测基准，专门针对 AI 交付环节。它包含 95 个带隐藏约束的端到端任务，覆盖 20 个客户场景和 18 个行业，由专家从真实项目改编，配有可追问的虚拟干系人和可修改的类生产系统，按交付物对客户成功指标的提升打分，并对交互成本计罚。
FDE-Gym 的评分机制是怎样的？
评分不看任务完成度，而是按交付物对客户自身成功指标的提升打分：0 分表示原样未动，1 分表示达到参考解水平。同时，与虚拟干系人的每次消息、试跑、等待都会产生罚分，以惩罚过高的交互成本。
目前 AI 模型在 FDE-Gym 上的表现如何？
在 13 个模型配置、7 家 provider 中，最好的平均分仅为 0.56（相对参考解的归一化得分），95 题中最好配置只解决了 14 题（解决定义为得分≥0.8 且全程无事故）。
论文指出的 AI 交付“最后一公里”难题具体指什么？
难题不仅在于发现隐藏约束（不给提示时模型性能骤降），更在于信息齐全后转化为达标交付物。在 23 个题目中，最好配置已从干系人处问全关键事实，但最终只有 10 题做到业务提升≥0.8，说明“问到≠做出来”，信息齐全后把信息变成达标交付物仍是独立鸿沟。
FDE-Gym 与现有 coding benchmark 有什么不同？
现有 coding benchmark 通常提供写清楚的任务，而 FDE-Gym 的任务约束全部隐藏，要求 agent 自己提问、自己修改系统、自己交付。评价对象也从“题目写清楚了能不能做对”迁移到“题目没人写清楚，能不能交付业务结果”，分数绑定客户成功指标，交互成本计入总价。
FDE-Gym 这个名字里的“Gym”有什么含义？
“Gym”意味着该平台同时对人类开放同一套环境与评分，人可以按同一标准练习 FDE（前置交付工程师）技能。
