编码还是不编码？探索代码在预训练中的影响
内容提要
本文研究了预训练语言模型在数值推理和代码理解生成任务中的表现，发现模型对高频词语的推理能力更强，微调能进一步提升性能。使用代码数据增强预训练效果显著，动态混合数据有助于推理能力提升。此外，研究探讨了文档质量对模型理解能力的影响及大型语言模型在编程教育中的潜在影响。
延伸解读
预训练数据频率如何影响数值推理
文章指出，预训练语言模型在数值推理任务上的表现与词语在预训练数据中的出现频率相关：高频词对应的推理更准确。这提示我们，模型的能力并非均匀分布，而是受训练数据分布影响。在评估模型时，需考虑预训练数据带来的偏差，不能仅看任务准确率。
代码数据增强与动态混合的价值
多项研究表明，在预训练或指令微调阶段加入代码数据，能显著提升大语言模型的推理能力。动态混合代码和文本数据有助于模型逐步学习推理。此外，代码提示在条件推理任务上能带来2.6到7.7个百分点的提升，但需包含自然语言文本和高质量代码。
文档质量对代码理解的影响
实证分析发现，错误的文档会严重阻碍大语言模型对代码的理解，而不完整或缺失的文档影响不显著。这意味着在利用文档辅助代码理解时，准确性比完整性更关键。开发者在构建训练数据时，应优先确保文档正确，避免错误信息误导模型。
编程教育中LLM的双面效应
大规模随机对照实验显示，在编程教育中使用大语言模型可能提升考试表现，但也可能导致课程参与度下降，尤其是低人类发展指数国家的学生。这提醒教育者，引入LLM需权衡短期成绩与长期学习投入，并进一步研究其课堂影响。
Q&A
预训练语言模型在数值推理方面的表现如何？
预训练语言模型在数值推理方面的能力与词语出现频率相关，频率高的词语推理能力更强。
微调对模型性能的影响是什么？
微调可以进一步提高模型在代码理解和生成任务中的性能，优于未微调的相似规模LLMs。
使用代码数据增强预训练有什么好处？
使用代码数据增强预训练和动态混合数据能显著提升模型的推理能力。
高质量文档对模型理解能力的重要性是什么？
高质量文档对大型语言模型的理解能力至关重要，错误文档会阻碍理解。
大型语言模型在编程教育中的潜在影响是什么？
大型语言模型可能提高考试表现，但也可能降低课程参与度，需进一步研究其影响。
在少样本设置下，如何提升模型表现？
在少样本设置下，添加演示示例能提升模型表现，但有时会导致不稳定的结果。
