腾讯安全玄武实验室
·
Xuanwu Atuin AI 在 CyberGym 上的表现：GLM-5.2 更新结果
内容提要
腾讯玄武 Atuin AI 在 CyberGym 的评估中，使用 GLM-5.2 模型后，pass@1 达到 84.8%，较 GLM-5.1 的 84.0% 提升了 0.8%。该系统专注于软件漏洞分析，协调多个智能体进行任务，表现优于 Claude Code。
关键要点
-
腾讯玄武 Atuin AI 在 CyberGym 的评估中，使用 GLM-5.2 模型后，pass@1 达到 84.8%。
-
GLM-5.2 相比 GLM-5.1 提升了 0.8%，后者的 pass@1 为 84.0%。
-
Xuanwu Atuin AI 是一个多智能体安全分析系统，专注于软件漏洞的发现、分析和复现。
-
该系统能够对源代码、二进制文件和 JavaScript 包进行推理，生成具体的利用证据。
-
在评估中，Xuanwu Atuin AI 的表现优于 Claude Code，后者的 pass@1 为 68.7%。
-
实验设置中，网络访问引入了代理白名单，确保智能体按预期使用网络权限。
-
更新后的评估表明，Xuanwu Atuin AI 在系统架构强大的基础上，持续受益于模型改进。
延伸解读
模型更新的影响
Xuanwu Atuin AI 在使用 GLM-5.2 模型后，pass@1 提升至 84.8%，显示出模型更新对性能的积极影响。这种提升虽然看似微小，但在安全分析领域，哪怕是0.8%的改进也可能显著提高漏洞检测的准确性和效率。
多智能体系统的优势
Xuanwu Atuin AI 作为多智能体安全分析系统，能够协调不同智能体进行任务，提升了漏洞分析的全面性和深度。这种结构使得系统在处理复杂的安全问题时，能够更有效地分配资源和优化工作流程。
与竞争对手的比较
在与 Claude Code 的比较中，Xuanwu Atuin AI 的表现明显优越，pass@1 高出 15.3%。这表明，Xuanwu Atuin AI 在漏洞分析领域的技术优势，可能使其在市场竞争中占据更有利的位置。
延伸问答
Xuanwu Atuin AI 在 CyberGym 的评估结果如何？
Xuanwu Atuin AI 在 CyberGym 的评估中，使用 GLM-5.2 模型后，pass@1 达到 84.8%。
GLM-5.2 模型相比 GLM-5.1 有什么提升？
GLM-5.2 相比 GLM-5.1 提升了 0.8%，后者的 pass@1 为 84.0%。
Xuanwu Atuin AI 的主要功能是什么？
Xuanwu Atuin AI 是一个多智能体安全分析系统，专注于发现、分析和复现软件漏洞。
Xuanwu Atuin AI 如何生成利用证据？
该系统能够对源代码、二进制文件和 JavaScript 包进行推理，生成具体的利用证据。
Xuanwu Atuin AI 与 Claude Code 的表现如何比较？
在评估中，Xuanwu Atuin AI 的 pass@1 为 84.8%，而 Claude Code 为 68.7%，高出 15.3 个百分点。
实验设置中有哪些变化？
实验设置中引入了代理白名单，确保智能体按预期使用网络权限，同时使用了 GLM-5.2 模型。
