eyeballvul：野外漏洞检测的未来验证基准
内容提要
研究评估了大型语言模型（LLMs）在漏洞检测中的性能，发现其在简单任务上的准确率超过80%，而在复杂任务中仅不到30%。为提高模型性能，引入了新的数据集PrimeVul，并提出了LLM4Vuln框架以增强漏洞推理能力。研究还指出LLMs在安全风险方面的不足，强调需要更多创新研究以提升代码安全性。
延伸解读
漏洞检测的难度分层：简单任务与复杂任务的性能鸿沟
VulDetectBench基准测试显示，LLM在漏洞识别和分类等简单任务上准确率超过80%，但在复杂漏洞分析任务上不足30%。这种性能差异表明，当前模型更适合辅助初步筛查，难以独立完成需要深度推理的专业漏洞挖掘。读者需注意，高准确率可能仅反映模型对表面模式的识别，而非对漏洞本质的理解。
数据质量对模型评估的影响：PrimeVul的启示
现有漏洞数据集存在数据质量低、标签不准确和重复率高的问题，导致模型在现实场景中的性能被高估。PrimeVul数据集的引入旨在提供更可靠的训练和评估基础，其评估结果揭示了当前基准的虚高现象。这提醒研究者和从业者，在依赖模型性能指标时，需关注底层数据的质量，避免被不真实的基准所误导。
LLM4Vuln框架：分离推理能力以增强漏洞检测
LLM4Vuln框架通过将LLM的漏洞推理能力与其他能力（如知识增强、上下文补充）分离，系统评估了不同因素对推理效果的影响。在智能合约漏洞的实验中，该框架不仅揭示了多个发现，还发现了9个零日漏洞。这表明，针对性地增强推理能力而非整体提升模型规模，可能是提高漏洞检测效果的有效途径。
安全风险与效用权衡：BenchmarkName基准的量化
LLM在漏洞检测中可能引入新的安全风险，如提示注入和代码解释器滥用。BenchmarkName基准测试显示，所有测试模型在提示注入攻击中成功率在26%至41%之间，表明攻击风险尚未解决。同时，安全效用权衡问题突出：模型拒绝不安全请求时可能误拒良性请求。False Refusal Rate（FRR）被提出用于量化这种权衡，帮助评估模型在安全性和实用性之间的平衡。
Q&A
大型语言模型在漏洞检测中的表现如何？
在简单任务中，大型语言模型的准确率超过80%，但在复杂任务中仅不到30%。
PrimeVul数据集的作用是什么？
PrimeVul数据集用于训练和评估代码语言模型在漏洞检测中的性能，解决现有数据集的不足。
LLM4Vuln框架的主要特点是什么？
LLM4Vuln框架通过分离LLMs的漏洞推理能力与其他能力，增强其漏洞推理能力。
如何量化大型语言模型的安全风险？
可以使用BenchmarkName基准来量化LLM的安全风险和能力，评估其在提示注入和代码解释器滥用方面的表现。
LLMs在漏洞检测中存在哪些主要问题？
LLMs在漏洞检测中常出现错误定位和识别漏洞类型的问题，并引入新的安全风险。
False Refusal Rate（FRR）在安全效用权衡中的作用是什么？
FRR用于量化LLMs拒绝不安全请求与响应良性请求之间的权衡，帮助评估安全效用。
