明确了：文本数据中加点代码，训练出的大模型更强、更通用
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
代码对大语言模型（LLM）的性能有重要影响，改进代码质量和保留代码数据可以产生积极影响。使用标记样式的编程语言、合成生成的代码和代码相邻数据可以提高预训练的性能。预训练模型初始化和代码数据比例也对模型性能有影响。
🎯
关键要点
- 代码知识对大语言模型（LLM）的性能至关重要。
- 预训练数据集中包含代码是提升模型性能的关键因素。
- 研究表明，代码质量的改进对所有任务都有显著影响。
- 使用合成生成的代码和代码相邻数据可以提高预训练性能。
- 在预训练冷却中包含代码数据可进一步改善模型性能。
- 代码预训练模型初始化可显著提高自然语言任务的性能。
- 高质量合成生成的代码数据集能提高自然语言推理和代码性能。
- 冷却阶段的代码数据能提高自然语言推理、世界知识和代码性能。
- 研究评估了不同规模模型的性能，发现代码对非代码任务的性能有重大改进。
- 使用标记样式的编程语言和相邻代码数据集对模型性能有积极影响。
❓
延伸问答
代码在大语言模型中的作用是什么？
代码对大语言模型的性能至关重要，能够显著提升自然语言推理和其他非代码任务的表现。
如何提高大语言模型的预训练性能？
通过改进代码质量、使用合成生成的代码和相邻代码数据，可以显著提高预训练性能。
预训练冷却阶段包含代码数据有什么好处？
在预训练冷却阶段包含代码数据，可以进一步提高自然语言推理、世界知识和代码性能。
使用合成生成的代码对模型性能有什么影响？
使用合成生成的代码可以提高自然语言推理和代码性能，分别提高9%和44%。
代码质量如何影响大语言模型的表现？
代码质量的提高对所有任务都有显著影响，尤其是在自然语言推理和代码生成任务中。
不同规模的模型在使用代码数据时表现如何？
研究表明，代码对不同规模模型的性能都有重大改进，尤其是在自然语言推理和世界知识任务中。
➡️
