AWS称其AI安全代理可修复89%的漏洞——但有个问题
内容提要
AWS推出代码漏洞修复服务Continuum，可自动发现并验证代码库漏洞并提交修复请求。在CyberGym-E2E基准测试中，其端到端成功率达89%，远超此前65.9%的公开最高纪录；但仅37.8%的补丁同时修复了基准指定的历史漏洞。测试仅覆盖C/C++内存安全漏洞，结果由AWS自行验证，其针对指定漏洞的修复表现尚不明确。
延伸解读
89%与37.8%的差距从何而来
Continuum在CyberGym-E2E上端到端成功率达89%，但仅37.8%的补丁同时修复了基准指定的历史漏洞。这一差距源于基准测试的设定：代理在不知道具体目标漏洞的情况下，需自行发现并修复代码库中的任意真实漏洞。AWS指出，一个仓库可能包含多个漏洞，修复其他漏洞并非无价值，这解释了分数差异。因此，89%反映的是通用修复能力，而37.8%更接近精准定位指定漏洞的能力。
测试范围有限，结果由AWS自行验证
该基准仅覆盖C/C++内存安全漏洞，未涉及其他语言或漏洞类型，AWS也承认这一局限。此外，测试由AWS自行运行并验证，虽遵循基准规则（包括限制互联网访问、检查是否抄袭公开修复），但结果尚未被第三方独立复现。基准和测试工具虽已公开，目前却只有AWS一家报告了成绩，读者需注意其结论的适用范围和验证状态。
实际使用场景仍待验证
目前尚不清楚Continuum在团队指定具体漏洞要求修复时的表现。基准测试模拟的是无漏洞描述、无概念验证、无崩溃日志的“盲修”场景，而实际工作中开发者往往已明确目标漏洞。这种差异意味着89%的成功率不能直接等同于实际修复指定漏洞的效率。此外，测试限时90分钟，AWS称给予更多时间成功率可升至93.7%，但实际部署中的时间压力和交互流程可能影响结果。
Q&A
AWS Continuum 是什么？它主要能做什么？
AWS Continuum 是 AWS 推出的代码漏洞修复服务，可自动发现并验证代码库中的漏洞，检查其与 AWS 环境的兼容性，并提交包含修复建议的拉取请求。
Continuum 在 CyberGym-E2E 基准测试中的表现如何？
在 CyberGym-E2E 基准测试中，Continuum 的端到端成功率达到 89.0%（920 个任务中通过 819 个），远超此前公开最高纪录 65.9%。
为什么说 Continuum 的 89% 成功率有水分？
因为该成功率仅表示代理找到并修复了某个真实漏洞且未破坏现有测试，但只有 37.8% 的补丁同时修复了基准指定的历史漏洞。代理并不知道具体是哪个历史漏洞，因此这个差距并不完全公平。
CyberGym-E2E 测试具体考察什么？有哪些限制？
测试给代理 90 分钟时间，在 139 个开源项目之一中寻找并修复漏洞，不提供漏洞描述、概念验证、崩溃日志或现有补丁。代理必须识别缺陷、触发它，并生成能阻止崩溃且不破坏现有测试的修复。所有任务均为 C/C++ 内存安全漏洞，未覆盖其他语言和漏洞类型。
Continuum 的测试结果是否经过独立验证？
没有。测试由 AWS 自行运行和验证，AWS 表示 Continuum 遵守了基准规则（包括互联网访问限制），并检查了代理没有直接查找公开修复。但基准和测试工具虽公开，结果目前仅来自 AWS 自身。
Continuum 在修复指定漏洞方面的表现如何？
目前尚不清楚。文章指出，仍未知当团队要求 Continuum 修复特定漏洞时它的表现如何，因为基准测试中代理并未被告知要修复哪个历史漏洞。
