评估大型语言模型对代码可维护性的能力
内容提要
大型语言模型在代码生成、测试、修复和文档生成中表现突出，但GPT-4生成的代码仍有62%存在API误用。研究提出RobustAPI数据集评估可靠性，并发现LLM可提升程序测试质量。在代码文档生成中，GPT-4等闭源模型优于开源模型。LLM生成的代码解释比学生更准确易懂。
延伸解读
API误用：LLM生成代码的可靠性短板
文章指出，即使GPT-4生成的代码也有62%存在API误用，可能导致意外后果。这提醒开发者，LLM生成的代码不能直接用于生产环境，必须经过严格审查和测试。RobustAPI数据集的提出，为评估和提升代码可靠性提供了基准，但如何在实际开发中系统性地检测和修复API误用，仍是待解决的问题。
闭源与开源模型在文档生成上的差距
在代码文档生成任务中，GPT-3.5、GPT-4和Bard等闭源模型在准确度、完整性、相关性等参数上均优于Llama2和Starchat等开源模型。此外，文件级文档的生成质量明显低于内联和函数级文档。这意味着，若追求高质量文档，闭源模型是更优选择，但需考虑成本；而开源模型可能适合对成本敏感或需要本地部署的场景。
LLM代码解释在教育中的潜力与局限
研究发现，LLM自动生成的代码解释比学生编写的解释更准确、更易理解，这为编程教育提供了新的辅助工具。然而，LLM解释的可靠性仍受限于模型本身对代码的理解能力，且可能忽略特定上下文。教育者可以将其作为补充，但不宜完全替代学生自主思考的过程。
代码修复与测试：LLM的辅助作用与评估挑战
LLM在代码漏洞修复和测试生成方面展现出潜力，例如通过生成测试用例提升合成程序质量，在HumanEval+上通过率提高。但研究也指出，当前评估指标（如完美预测）可能无法反映真实场景中的修复能力，且训练数据完整性至关重要。因此，LLM辅助修复需结合人工验证，并关注评估方法的局限性。
Q&A
大型语言模型生成的代码可靠性如何？
根据RobustAPI数据集（包含1208个编程问题）的评估，即使是GPT-4，其生成的代码中仍有62%存在API误用，可能导致意想不到的后果。
如何利用LLM提升程序测试质量？
通过利用LLM生成的测试用例，可以提高合成程序的质量。相较于GPT-3.5-turbo和最新的最先进技术，该方法在HumanEval+上的代码通过率分别提高了11.77%和4.22%。
LLM在代码文档生成方面表现如何？
对GPT-3.5、GPT-4、Bard、Llama2和Starchat等模型的比较分析显示，除Starchat外，所有LLM生成的文档均优于原始文档。闭源模型（GPT-3.5、GPT-4、Bard）在准确度、完整性、相关性、可理解性、可读性等参数上优于开源模型（Llama2、StarChat）。GPT-4生成时间最长，文件级文档在所有参数（时间除外）上表现明显较差。
LLM生成的代码解释与学生写的相比如何？
自动生成的LLM代码解释具有更高的准确性和易理解性，为解决教育中代码解释挑战提供了新方法。
LLM在自动修复代码漏洞方面有哪些进展？
研究引入了一种新的代码修改表示格式，使用Code Llama和Mistral等先进LLM在C代码漏洞数据集上微调，显著提高了自动代码修复的准确性和适应性。研究还强调了数据集完整性和训练样本缺失测试数据集的重要性，并对当前评估指标（如完美预测）进行了关键评估。
使用未经授权的代码训练LLM会带来哪些问题？
使用未经授权的代码构建LLM会带来安全、隐私和版权问题，研究提出了四条可行的建议。
