DeepSeek-Coder：大型语言模型与编程的结合 -- 代码智能的崛起
内容提要
该文汇总多项代码大模型研究：DeepSeek LLM 67B在代码、数学和推理上超越LLaMA-2 70B，其Chat版优于GPT-3.5；PolyCoder在C语言上胜过Codex；StarCoder等开源模型推动安全发布；此外还涉及代码翻译、程序合成与语义代码搜索等进展。
延伸解读
DeepSeek LLM 的扩展发现与性能表现
文章指出，DeepSeek LLM 通过研究扩展定律，在7B和67B两种配置下获得了独特发现，并构建了包含2万亿标记的数据集进行预训练。评估显示，67B基础模型在代码、数学和推理等基准上超越LLaMA-2 70B，其Chat版本在开放式评估中优于GPT-3.5。这表明大规模高质量数据和扩展策略对模型能力有显著提升。
开源代码模型的多语言能力与安全发布
PolyCoder在C语言上优于Codex，而StarCoder等模型通过加强PII去识别和追溯工具，实现了更安全的开源发布。BigCode项目还发现，更激进地过滤近似重复数据能提升性能，但从高星标代码库选文件反而降低性能。这些进展说明开源模型在特定语言上可接近甚至超越闭源模型，同时安全与数据清洗至关重要。
代码智能的多样化任务进展
文章汇总了代码翻译、程序合成和语义代码搜索等方向的成果。例如，Codeditor在代码翻译任务上大幅超越现有方法；基于LLM的程序合成方法通过多轮提示提高了准确性；深度语义模型在CodeSearchNet上取得0.384 NDCG并排名第一。这些工作表明，代码智能正从单一生成向多任务、多模态理解扩展。
Q&A
DeepSeek LLM 67B 在哪些方面超越了 LLaMA-2 70B？
DeepSeek LLM 67B 在代码、数学和推理领域超越了 LLaMA-2 70B。
PolyCoder 在哪种编程语言上表现优于 Codex？
PolyCoder 在 C 编程语言上优于所有模型，包括 Codex。
StarCoder 模型是如何实现安全发布的？
通过加强的 PII 去识别流程和追溯工具等重要措施，可以更安全地发布模型。
在代码生成任务中，过滤近似重复数据对性能有什么影响？
更激进地过滤近似重复的数据可以进一步提高性能。
Codeditor 是什么？它有什么作用？
Codeditor 是第一个基于大语言模型的代码翻译工具，能将代码从一种编程语言翻译成另一种编程语言，并在自动指标上大幅超越现有方法。
CodeT5+ 在哪些任务上取得了最先进的结果？
CodeT5+ 在不同的代码相关基准测试中取得了最先进的结果，特别是在针对人类评估的代码生成任务中。
