针对黑盒代码补全引擎的实际攻击
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了一种自动发现黑盒生成模型安全漏洞的方法，研究了代码生成模型的安全性，发现其易受攻击。通过分析现有防御方法的局限性，提出了增强代码安全性的策略，并开发了漏洞分析系统SecRepair，帮助开发者识别和修复代码漏洞。研究强调了改进大型语言模型训练和使用方法的重要性，以实现更安全的模型部署。
❓
Q&A
黑盒生成模型的安全漏洞是如何被发现的？
通过一种自动发现的方法，能够系统地识别黑盒生成模型中的安全漏洞，包括商业模型如GitHub Copilot。
代码生成模型面临哪些安全风险？
代码生成模型易受数据干扰和模型干扰攻击，导致在自动建议代码时存在风险。
现有的防御方法存在哪些局限性？
现有防御方法未能有效应对黑盒攻击和安全漏洞，需提出新的策略来增强安全性。
SecRepair系统的功能是什么？
SecRepair是一个漏洞分析系统，帮助开发者识别和修复代码漏洞，并利用增强学习提高处理能力。
如何评估Prompt修改方法的有效性？
通过实际场景测试，结果显示Prompt修改方法可减少不安全生成代码样本的数量，并增加安全代码的数量。
大型语言模型在代码生成中存在哪些安全问题？
大型语言模型在训练中使用未经筛选的数据，可能传播安全漏洞，且在代码生成中常常忽视安全问题。
🏷️
