Engineering at Meta
·
介绍AutoPatchBench：一个基于AI的安全修复基准测试
💡
原文英文，约3900词，阅读约需14分钟。
📝
内容提要
AutoPatchBench是一个基准测试，旨在自动修复模糊测试发现的C/C++漏洞，包含136个真实漏洞及其验证修复，促进安全解决方案的开发与社区合作。该基准提供标准化评估框架，提高研究的透明度和可重复性。
🎯
关键要点
- AutoPatchBench是一个基准测试，旨在自动修复模糊测试发现的C/C++漏洞。
- 该基准包含136个真实漏洞及其验证修复，促进安全解决方案的开发与社区合作。
- AutoPatchBench提供标准化评估框架，提高研究的透明度和可重复性。
- 模糊测试通过大量伪随机输入数据发现安全漏洞，但修复过程复杂且耗时。
- AI的应用可以加速模糊测试漏洞的修复，减少时间和资源消耗。
- AutoPatchBench专注于评估AI驱动的程序修复系统，特别是针对模糊测试发现的漏洞。
- ARVO数据集为AutoPatchBench提供了真实漏洞的基础，包含超过5000个可重现的漏洞。
- AutoPatchBench通过严格的选择标准确保样本的可靠性和有效性。
- 生成的补丁通过构建验证和模糊测试进行自动化验证，确保补丁的正确性。
- AutoPatchBench和AutoPatchBench-Lite提供了不同复杂度的基准测试，支持开发者逐步测试和改进工具。
- 该基准测试对自动补丁生成工具、软件项目和模型开发者具有重要价值。
- 手动验证显示差异测试在自动拒绝不正确补丁方面的有效性，但仍需改进补丁验证方法。
- 研究发现生成的补丁中大多数是错误的，强调了增强验证能力的必要性。
- AutoPatchBench现已在GitHub上公开，欢迎社区贡献新架构。
❓
延伸问答
AutoPatchBench的主要功能是什么？
AutoPatchBench是一个基准测试，旨在自动修复模糊测试发现的C/C++漏洞。
AutoPatchBench如何提高研究的透明度和可重复性？
AutoPatchBench提供标准化评估框架，使研究人员能够客观评估和比较各种AI程序修复系统的有效性。
模糊测试在漏洞发现中的作用是什么？
模糊测试通过大量伪随机输入数据发现安全漏洞，能够揭示内存损坏、无效指针解引用等关键问题。
ARVO数据集在AutoPatchBench中的作用是什么？
ARVO数据集为AutoPatchBench提供了真实漏洞的基础，包含超过5000个可重现的漏洞及其验证修复。
AutoPatchBench和AutoPatchBench-Lite有什么区别？
AutoPatchBench包含136个样本，涵盖多种复杂漏洞，而AutoPatchBench-Lite则包含113个样本，专注于较简单的漏洞。
AutoPatchBench如何验证生成的补丁的正确性？
生成的补丁通过构建验证和模糊测试进行自动化验证，确保补丁的正确性和功能保持不变。
➡️
