花岗岩代码模型：一系列针对代码智能的开放基础模型
内容提要
发布了基于 Llama 2 的开源代码语言模型 Code Llama，具备先进的性能和编程任务能力。研究表明，通过生成测试用例可提升程序质量，CodeT5+ 模型在代码生成任务中表现优异。DeepSeek-Coder 模型在多个基准测试中超越现有闭源模型，并支持商业应用。
延伸解读
开源代码模型的竞争格局
文章提到多个开源代码模型，如基于Llama 2的Code Llama、CodeT5+和DeepSeek-Coder。其中DeepSeek-Coder在多个基准测试中超越了Codex和GPT-3.5等闭源模型，并采用宽松许可证支持商业应用。这表明开源模型在代码智能领域正快速进步，并可能改变闭源模型主导的格局。
代码生成与测试的协同改进
研究表明，通过生成测试用例可以提高合成程序的质量，在HumanEval+上的代码通过率比GPT-3.5-turbo和最新技术分别提高了11.77%和4.22%。这提示开发者，结合测试生成与代码生成可能是一种提升代码可靠性的有效策略。
代码模型评估的多样性
文章介绍了CodeEditorBench，用于评估LLMs的代码编辑能力。对19个LLMs的评估显示，闭源模型（如Gemini-Ultra和GPT-4）在代码编辑任务上优于开源模型，且模型性能因问题类型和提示敏感性而异。这提醒读者，不同模型在不同代码任务上表现可能差异显著，选择时需考虑具体场景。
Q&A
Code Llama 是什么？
Code Llama 是一套基于 Llama 2 的开源代码语言模型，具备先进的性能和编程任务能力。
CodeT5+ 模型在代码生成任务中的表现如何？
CodeT5+ 模型在代码生成任务中表现优异，能够在不同的基准测试中取得最先进的结果。
DeepSeek-Coder 模型的优势是什么？
DeepSeek-Coder 模型在多个基准测试中超越现有闭源模型，并支持商业应用，采用宽松许可证。
如何通过生成测试用例提升程序质量？
研究表明，通过生成测试用例可以提高合成程序的质量，提升代码通过率。
开源模型与闭源模型的性能差异如何？
评估结果显示，闭源模型在 CodeEditorBench 中优于开源模型，特别是在特定问题类型和提示敏感性方面。
Code Llama 的应用场景有哪些？
Code Llama 可用于无人操作编程任务的指令跟随能力，适用于多种编程相关任务。
