SecCodePLT：评估代码生成AI安全性的统一平台
原文中文，约600字，阅读约需2分钟。发表于：。本研究解决了现有代码生成AI安全性评估工具过于侧重于模型攻击建议而忽视可执行攻击生成的问题，以及静态评估指标的局限性。提出的SecCodePLT平台通过结合专家与自动生成的数据创建方法，提高了数据质量和规模，并引入动态评估方法以更精确地评估安全性。研究表明，SecCodePLT在安全相关性上优于现有的CyberSecEval基准，并成功识别了当前先进代码生成代理Cursor中的重大安全风险。
大型语言模型（LLM）引入了新的安全风险，但缺乏评估工具。BenchmarkName基准用于量化这些风险和能力，测试提示注入和代码解释器滥用。评估显示，消除攻击风险仍未解决，模型在提示注入测试中表现不佳。安全效用的权衡是关键，使用False Refusal Rate（FRR）进行量化。研究发现，LLM在拒绝不安全请求的同时能处理良性请求，但在自动化网络安全任务中仍需改进。代码已开源供评估使用。
