开放AI o1在网络安全中的基准评测
原文中文，约600字，阅读约需2分钟。发表于：。本研究解决了现有AI模型在自动化漏洞检测（AVD）任务中的不足，特别是在识别真实软件中的漏洞方面。通过创造一个复杂的测试环境并评估OpenAI的o1-preview和o1-mini模型，发现o1-preview在成功率和效率上显著优于之前的GPT-4o模型，尤其是在复杂场景中表现卓越。
大型语言模型（LLM）引入了新的安全风险，缺乏有效的评估工具。我们提出了BenchmarkName基准，用于测试提示注入和代码滥用。评估结果显示，攻击风险仍未得到解决，FRR量化了安全效用的权衡。许多LLM能够拒绝不安全请求，同时处理良性请求。此外，我们量化了LLM在网络安全任务中的效用，发现编码能力模型表现更佳。代码已开源，可用于评估其他LLM。
