一分钟读论文：《ORCA-bench：语言模型 Agent 准备好应对 On-Call 了吗？》

研究团队发表的论文《ORCA-bench: How Ready Are Language Model Agents for Oncall?》提出了一个生产保真度的根因分析基准测试，将通用编码 Agent 置于真实的生产环境中进行评估。在包含 1,079 个任务的测试中，最佳语言模型 Agent 在中等难度任务上的 RCA 准确率仅为 25.3%，在困难任务上仅 10.0%——即使使用...