机器和人类是否关注相似代码？在代码概括中探索大型语言模型的可解释性
内容提要
本文综述多项研究，探讨大语言模型在代码摘要与解释中的表现。代码专用模型优于通用模型，人类注意力可提升摘要性能，指令微调比模型规模更关键。评估指标、预处理和数据集特征显著影响结果。模型解释可读性高但完整性不足，因果分析有助于理解生成代码。
延伸解读
代码专用模型与通用模型的差异
文章指出，在代码摘要任务中，代码专用语言模型的表现优于通用大型语言模型。同时，零样本方法在训练集与测试集分布不同的数据集上效果更好。这提示读者，针对代码任务选择模型时，专用模型可能更合适，且跨分布场景下零样本方法值得关注。
人类注意力对摘要性能的提升
多项研究表明，将人类注意力纳入模型可以改善代码摘要性能。例如，EyeTrans方法结合人类与机器注意力，在功能摘要上提升高达29.91%，通用代码摘要提升6.39%。这说明以人为中心的方法和数据有助于提升模型效果，并增强可解释性。
评估指标与预处理的影响
文章强调，BLEU评估指标、代码预处理选择和数据集特征会显著影响代码摘要模型的性能和排名。因此，在评估和比较不同模型时，需注意这些因素，并参考文章提出的可行建议，以在不同情景下选择最佳方法。
模型解释的局限与因果分析
大型语言模型生成的代码解释可读性较高，但完整性、简洁性和情境化方面得分较低。基于因果分析的方法有助于理解输入提示与生成代码之间的因果关系，为改进代码质量和可解释性提供可操作见解。
Q&A
代码专用模型和通用大模型在代码摘要任务上哪个表现更好？
代码语言模型优于其通用模型。
人类注意力如何帮助提升代码摘要的性能？
将人类注意力纳入Transformer模型（如EyeTrans方法）可以显著提升代码摘要性能，功能摘要性能提升高达29.91%，通用代码摘要性能提升高达6.39%。
影响代码摘要模型评估结果的主要因素有哪些？
三个主要因素：BLEU评估指标、代码预处理选择和数据集特征，它们对模型的性能和排名有重要影响。
大语言模型生成的代码解释在可读性和完整性方面表现如何？
解释的可读性保持在7至8年级左右，词汇密度较高，正确性得分高，但在完整性、简洁性和情境化方面得分较低。
指令微调和模型规模哪个对LLM的零样本摘要能力更关键？
指导调整（指令微调）而不是模型规模是LLM零样本摘要能力的关键。
因果分析在理解大语言模型生成代码方面有什么作用？
因果分析可以系统地分析输入提示与生成代码之间的因果关系，帮助最终用户理解预测，并提供改进生成代码质量的可操作见解。
