一分钟读论文：《Skill 库越大，agent 越不翻说明书》
内容提要
研究揭示LLM智能体的“skill路由坍缩”现象：当skill库扩展至千个无关项时，加载召回率从73.6%降至27.4%，零加载率升至51.6%，主因是不加载而非选错。任务成功率几乎不变，掩盖了路由失效。语义与指令干扰是主因，显式预筛选可缓解。建议将路由监控纳入例行指标。
延伸解读
路由失效为何被成功率掩盖
论文发现，当skill库扩至千个无关项时，加载召回率从73.6%降至27.4%，但任务成功率几乎不变。这意味着agent即使不加载任何skill也能继续执行任务，导致路由失效被成功率指标掩盖。团队若只监控Pass@3，可能无法及时发现agent已不再使用skill，直到用户投诉才暴露问题。
干扰来源与缓解思路
论文指出，语义干扰和指令干扰是路由坍缩的主因。遮蔽无关skill的描述字段可大幅恢复加载，说明描述文本在大规模下互相干扰；显式要求agent先规划skill使用，召回仍低于预筛选，表明skill选择与任务执行争夺注意力。显式预筛选是可行缓解手段，但需权衡覆盖与延迟。
结论的适用边界与监控建议
该研究基于三个开源权重模型，结论未覆盖闭源前沿模型，且论文为预印本，尚未经同行评审，数字与机制待进一步检验。尽管如此，路由监控值得提前纳入skill系统的例行指标，以独立于任务成功率来跟踪加载召回和零加载率，避免系统在规模扩大后悄然失效。
Q&A
什么是skill路由坍缩？
skill路由坍缩是指当LLM智能体的skill库扩展到上千个无关项时，agent加载正确skill的召回率大幅下降，且大量任务完全不加载任何skill的现象。论文测量显示，加载召回率从73.6%跌至27.4%，零加载率从9.3%升至51.6%。
为什么skill库变大后agent反而不加载skill了？
论文指出主因是语义干扰和指令干扰。语义干扰指无关skill的描述文本在大规模下互相干扰选择；指令干扰指skill选择与任务执行争夺同一份注意力。实验显示，遮蔽无关skill的描述字段后加载大幅恢复，而显式要求先规划skill使用仍低于预筛选。
skill路由坍缩对任务成功率有什么影响？
任务成功率几乎不变，掩盖了路由失效。例如GLM-5的Pass@3从57.3%到56.1%，Kimi K2.5从52.4%到50.6%，基本守在基线附近。论文称，只看任务成功会让一个坏掉的skill系统显得健康。
如何缓解skill路由坍缩？
显式预筛选是实际可行的手段，即由系统在运行前筛掉无关skill，代价是覆盖与延迟之间的权衡。论文称，在万级规模下混合预筛选有效。
skill路由坍缩在多大库规模时开始出现？
退化在百级就已出现。当库里只加一百个无关skill时，GLM-5、Kimi K2.5、MiniMax M2.5三个开源权重模型的加载召回分别掉24.6、15.6、20.7个百分点。到一千个无关skill时，加载召回从73.6%跌至27.4%。
论文建议团队监控什么指标来提前发现skill路由问题？
论文建议将路由监控纳入skill系统的例行指标，不必等用户投诉。因为加载召回与任务成功率是两条独立曲线，成功率是滞后的下游指标，只盯Pass@3会等用户投诉才发现agent早已不带说明书干活。
