一分钟读论文：《同一个模型换个外壳，攻击成功率差出四倍多》
内容提要
论文《HarnessRisk》提出面向Agent外壳安全的全生命周期基准，用128个沙箱案例测试6个阶段。结果显示同一模型在不同外壳下攻击成功率差4.3倍，配置阶段最脆弱，且检测风险不等于安全行动，任务效用不能作为安全证据。
延伸解读
外壳为何成为新的安全面
论文将安全审计从模型本身延伸到部署层，指出外壳（harness）决定了工具调用、权限和状态管理，是安全的关键变量。传统基准多按攻击类别组织，而本文按部署职责切分生命周期，强调配置、扩展等阶段同样脆弱。这提醒开发者，模型安全不能脱离运行环境孤立评估，外壳的配置细节可能成为攻击突破口。
检测风险不等于安全行动
研究发现，部分配置在超过90%的运行中检测到风险，但攻击成功率依然很高。这说明模型能识别风险，却未必采取修复行动。四类失败模式中包括“检测到风险却未修复”，提示安全评估不能只看检测率，更要关注后续行动。实际部署中，应建立检测到响应之间的闭环机制，避免“知而不行”。
任务效用不能作为安全证据
所有配置的Utility保持在75%–97.6%，即使攻击成功率高达80.9%，任务完成度依然良好。这意味着一个不安全的外壳可能“出色”地完成任务，因此不能因任务表现好就推断系统安全。安全评估需独立于效用指标，否则可能掩盖潜在风险。
基准的边界与适用性
实验在128个沙箱案例和mock services中进行，不能直接外推到生产环境。跨harness对比仅对四个全矩阵模型成立，GPT-5.5和Claude Opus 4.7只测了OpenClaw。因此，4.3倍的差异是特定条件下的结果，实际差距可能因环境而异。读者应谨慎解读，避免过度泛化。
Q&A
论文《HarnessRisk》主要研究什么问题？
论文研究的是Agent外壳（harness）的安全问题，即包裹语言模型的部署层代码（决定工具调用、权限、状态保存等）可能引入的安全漏洞。它提出了一个面向外壳安全的全生命周期基准，用128个沙箱案例测试6个阶段，发现同一模型在不同外壳下攻击成功率可差4.3倍。
什么是Agent外壳（harness）？为什么它成为新的安全面？
Agent外壳是包裹语言模型的部署层代码，决定它能调用哪些工具、持有哪些凭证与权限、如何保存状态。它成为新的安全面是因为现有基准多按攻击类别或执行阶段组织，对配置、扩展、持久化与恢复覆盖不均，而部署配置中的工具、权限、状态表示与授权上下文由外壳共同决定，安全应按部署职责切面评测。
HarnessRisk基准是如何设计的？包含哪些阶段和测试内容？
基准包含128个沙箱案例，大致均分六个阶段：外壳配置、能力扩展、运行时操作、状态持久化、动作控制、事故恢复。每个案例是三轮owner对话，配独立文件、工具与mock services，每次运行从全新初始化环境开始，独立重复3次。实验矩阵为3个harness（OpenClaw、Nanobot、Hermes）× 6个模型，共14个配置。
论文的主要发现是什么？尤其是关于攻击成功率和检测率的关系？
主要发现包括：同一模型在不同外壳下攻击成功率差4.3倍（如GLM-5.2在OpenClaw上ASR为54.7%，在Nanobot上仅12.6%）；配置阶段是最脆弱的阶段；检测风险不等于安全行动，有些配置检测率超过90%但攻击成功率仍然很高。
论文中提到的四类失败模式是什么？
四类失败模式包括：授权变更中藏入不安全参数、后续轮次为来源洗白、授权动作被用于目标替换、检测到风险却未修复。
论文的结论对Agent安全审计有什么启示？
结论是任务效用不能当安全证据，因为不安全配置照样能把任务干得很好（Utility保持75%–97.6%）。Agent安全的审计面应从模型本身延伸到部署层，即外壳。
论文的实验有哪些局限性？
局限性包括：GPT-5.5与Claude Opus 4.7只在OpenClaw上测过，跨harness对比仅对全矩阵的四个模型成立；所有测试在mock services沙箱内完成，不能外推到生产部署或所有harness。
