一分钟读论文：《别替模型排答题路线》
内容提要
论文比较了LLM调用外壳与手工编排的根因分析Agent，发现简单外壳更准确：PR@1达65-77%，高于已发表Agent的16-53%和非LLM方法的6-39%。原因是已发表Agent将大量模型调用写死在程序中，跳过了决定性证据。更强模型主要提升稳定性，多轮外壳提升能力。成本或时间最优的运行方式均为简单外壳。结果来自预印本自测，未经同行评审。
延伸解读
“少编排”为何反而更准
论文把差距归因于规定调用占比：已发表Agent把十分之一到全部的模型调用写死在程序里，固定阶段和角色分工让模型无法自行决定先看什么。案例显示，程序预设的查看顺序会跳过决定性证据，例如某行日志或已不再收到请求的服务。简单外壳把看什么、查哪条、何时停交还模型，因此在同一基准上领先。这提示：编排的价值应被验证，而非默认成立。
强模型与多轮外壳的分工
论文区分了两种提升路径：从Luna换到Sol，能力分只升2-7个百分点，不稳定分却从32-36降到7-8，说明更强模型主要让结果更稳定；多轮外壳则直接买能力，SQL agent与Codex在Luna上至少解出一次的案例比一次调用多10-11个百分点。读者若想提升RCA效果，可先判断瓶颈是“偶尔解不出”还是“根本解不出”，再决定加模型还是加轮次。
成本与时间的Pareto结论
在准确率超过最佳非LLM方法（NSigma，PR@1 38.9%）的运行中，成本或时间Pareto最优的每一条都是简单外壳；七个达标的发表Agent运行（43-63%）也都被不更贵或不更慢的简单外壳在准确率上压过。把推理努力加满只让准确率变动几个点，时间却最多乘以七。这说明在该基准上，放任模型自主调查并未以更高成本换取精度。
结论的适用边界
需注意：四个发表Agent是论文按原文重新实现的，案例研究只跟踪单个案例；规定调用占比只衡量编排固定了多少，并未证明固定就是准确率低的直接原因。全部结果出自论文自测口径，且为未经同行评审的预印本。因此“简单外壳更优”应视为在RCAtlas基准与特定模型档位下的观察，不宜直接外推为所有RCA场景的通用结论。
Q&A
为什么说手工编排的LLM Agent在根因分析中反而不如简单调用外壳？
因为已发表的Agent将大量模型调用写死在程序中（规定调用占比高），程序替模型决定读什么、查哪条，导致跳过决定性证据（如某行日志或不再收到请求的服务），从而降低准确率。
简单LLM外壳在根因分析任务上的准确率具体是多少？
简单外壳的PR@1（首个答案即命中根因的案例占比）在三个中档模型上达到65-77%，高于已发表Agent的16-53%和非LLM方法的6-39%。
换用更强模型和多轮外壳分别对根因分析Agent有什么影响？
更强模型主要提升稳定性：能力分A仅上升2-7个百分点，但不稳定分U从32-36降到7-8；多轮外壳主要提升能力：SQL agent与Codex在Luna上至少解出一次的案例比一次调用多10-11个百分点。
在成本和时间的角度，简单外壳是否仍然最优？
是的。在准确率超过最佳非LLM方法（NSigma，PR@1 38.9%）的运行里，成本或时间Pareto最优的每一条都是简单外壳；七个达标的发表Agent运行（43-63%）全被不更贵或不更慢的简单外壳在准确率上压过。
这篇论文的结论有哪些局限性？
四个发表Agent是论文按原文重新实现的；案例研究只跟了单个案例；规定调用占比只测编排固定了多少，未证明固定就是准确率低的直接原因；全部结果出自论文自测口径，预印本未经同行评审。
论文中提到的“规定调用占比”是什么？它揭示了什么问题？
规定调用占比指由程序在固定节点发起、而非模型自己决定发起的模型调用比例。五个发表Agent将十分之一到全部的模型调用写死在程序里，而简单外壳把看什么、查哪条、何时停全部交还给模型，这揭示了手工编排过度控制反而损害准确率。
