明确了：文本数据中加点代码，训练出的大模型更强、更通用
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
代码对大语言模型（LLM）的性能有重要影响，改进代码质量和保留代码数据可以产生积极影响。使用标记样式的编程语言、合成生成的代码和代码相邻数据可以提高预训练的性能。预训练模型初始化和代码数据比例也对模型性能有影响。
🎯
关键要点
- 代码知识对大语言模型（LLM）的性能至关重要。
- 预训练数据集中包含代码是提升模型性能的关键因素。
- 研究表明，代码质量的改进对所有任务都有显著影响。
- 使用合成生成的代码和代码相邻数据可以提高预训练性能。
- 在预训练冷却中包含代码数据可进一步改善模型性能。
- 代码预训练模型初始化可显著提高自然语言任务的性能。
- 高质量合成生成的代码数据集能提高自然语言推理和代码性能。
- 冷却阶段的代码数据能提高自然语言推理、世界知识和代码性能。
- 研究评估了不同规模模型的性能，发现代码对非代码任务的性能有重大改进。
- 使用标记样式的编程语言和相邻代码数据集对模型性能有积极影响。
➡️
