DeepLethe联合清华、上海交大等发布预印本论文,提出聚焦AI交付环节的评测基准FDE-Gym。该基准包含95个带隐藏约束的端到端任务,覆盖20个客户场景、18个行业,由专家从真实项目改编,配有可追问的虚拟干系人和可修改的类生产系统,按交付物对客户成功指标的提升打分,并对交互成本计罚。13个模型配置中最佳平均分仅0.56,95题仅解决14题。论文指出瓶颈不仅在于发现隐藏约束,更在于信息齐全后转化为达标交付物,即“最后一公里”难题。
完成下面两步后,将自动完成登录并继续当前操作。