绿盟科技风云卫基座模型斩获CyberGym Model榜单全球第一,91.31%!!!

绿盟科技风云卫基座模型斩获CyberGym Model榜单全球第一,91.31%!!!

💡 原文中文,约2000字,阅读约需5分钟。
📝

内容提要

绿盟SecLLM-3.6-27B在CyberGym纯模型榜单以91.31%的任务成功率位居全球第一,较此前54.51%提升36.8个百分点。该榜单仅使用通用框架、不接入外部工具,衡量模型自身的安全能力。模型采用安全能力拆解训练,经持续预训练、长链路轨迹与多教师蒸馏,强化漏洞理解、定位、PoC构造与失败恢复能力。选择27B规模是为实现低成本本地化部署,目前已在告警降噪、漏洞初筛等场景落地。

🔎

延伸解读

Model榜单与Agent榜单:别把模型能力和系统工程混为一谈

CyberGym刻意区分Model-Focused和Agent-Focused两类榜单。前者只使用通用Harness,不挂外部工具、知识库或专门智能体设计,纯粹衡量模型自身的安全能力;后者比拼的是包含多模型、定制工具链和动态知识库的完整系统战力。SecLLM-3.6-27B登顶的是Model榜单,意味着91.31%的成绩不依赖外挂补课,选型时若关注模型底层能力,应优先参考这一榜单。

36.8个百分点的跃升靠的是训练策略,不是参数规模

从54.51%到91.31%,提升并非来自扩大参数量。SecLLM-3.6-27B采用安全能力拆解与专业化增强策略,将漏洞理解、代码审计、定位、PoC构造、失败诊断等逐项拆开训练,再通过长链路轨迹数据串起长程任务。多教师在线策略蒸馏和可验证反馈机制重点修正证据判断与失败恢复上的长尾错误,说明垂域深度训练可以显著改变模型在真实漏洞任务中的表现。

27B是面向落地成本的主动取舍,而非能力妥协

选择27B规模是出于成本和合规考虑:网络安全部门需要小参数量本地化模型支撑高频安全运营,27B可部署在单机多卡甚至高性能工作站上,推理成本与超大模型相差一到两个数量级。文章同时强调小参数不等于低能力,经过深度安全垂域训练后,27B级模型可在真实漏洞任务上逼近甚至超越参数量大出数十到数百倍的通用模型。目前该模型已在告警降噪、漏洞初筛、代码审计辅助、事件溯源等场景落地。

理解CyberGym基准:成绩背后的评测边界

CyberGym由加州大学伯克利分校提出,题库包含来自188个主流开源项目的1507个真实已修复漏洞,主要聚焦C/C++内存安全问题。评测要求AI仅凭漏洞描述和未修补代码库,自主完成漏洞理解、定位、复现及PoC生成,并通过自动化评审验证PoC能否稳定触发目标漏洞。该基准被Anthropic、微软、Wiz等视为关键标尺,但读者需注意其侧重内存安全类漏洞,成绩反映的是该基准下的能力。

❓

Q&A

绿盟SecLLM-3.6-27B在CyberGym Model榜单上取得了什么成绩?

绿盟科技风云卫基座模型SecLLM-3.6-27B在CyberGym Model-Focused榜单中以91.31%的任务成功率位列全球第一。

CyberGym的Model榜单和Agent榜单有什么区别?

Model-Focused榜单只使用通用Harness,不设固定阶段,不挂任何外部工具与知识库,不依赖专门的智能体设计,纯粹衡量模型自身的底层安全能力;Agent-Focused榜单则比拼团队构建的完整系统,包含多个模型、定制工具链、含漏洞的Docker环境等,衡量系统级攻防战力。

SecLLM-3.6-27B相比之前提升了多少?是如何实现这种提升的?

任务成功率从54.51%提升到91.31%,提升了36.8个百分点。提升主要来自“安全能力拆解与专业化增强”训练策略,包括约316B Token安全垂域持续预训练、约420万条高质量安全任务监督数据、约31万条状态感知长链路轨迹数据、多教师在线策略蒸馏(MOPD)以及可验证反馈与失败感知训练。

为什么选择27B这个参数规模?

选择27B是为了实现低成本本地化部署,满足网络安全部门对成本和合规的要求。27B模型可以部署在单机多卡甚至高性能工作站上,推理成本与超大模型相差一到两个数量级,适合高频、常态化的安全任务。同时,小参数不等于低能力,经过深度垂域训练后可以在真实漏洞任务上逼近甚至超越大模型。

SecLLM-3.6-27B目前有哪些实际应用场景?

目前SecLLM已通过风云卫在告警降噪、漏洞初筛、代码审计辅助、事件溯源等多个安全场景交付落地,并取得良好效果。

CyberGym是什么?它的评测内容是什么?

CyberGym是由加州大学伯克利分校提出的AI智能体网络安全实战测评基准,被业界视为衡量AI安全攻防能力的“黄金标准”。其题库包含来自188个主流开源项目的1507个真实已修复漏洞(主要聚焦C/C++内存安全问题),要求AI智能体仅凭漏洞描述和未修补代码库,自主完成漏洞理解、定位、复现及PoC生成全流程,并通过自动化评审验证PoC是否可稳定触发目标漏洞。

🏷️

标签

➡️

继续阅读