结构感知的代码预训练模型微调
内容提要
本文探讨了通过预训练和微调编程结构来改进代码任务的语言模型，提出了S^3PET和SASA等新方法，显著提升了代码理解和生成的性能，尤其在处理长代码时表现优异。此外，基于先验的微调模型在编码和对话能力上达到了先进水平，展现出强大的迁移性和可解释性。
延伸解读
参数高效微调的新思路
文章介绍的S^3PET方法通过自动化搜索PET模块结构，仅需0.01%的可训练参数就能保留超过99%的微调性能。这为代码预训练模型的微调提供了高效途径，尤其适合计算资源有限的研究者或开发者。其搜索得到的结构具有高度可迁移性和可解释性，意味着可以跨任务复用，减少重复调参成本。
长代码理解的结构感知机制
针对长代码理解任务，SASA机制结合top-k稀疏关注和基于抽象语法树的结构感知关注，有效降低计算成本并提升性能。这表明在处理长代码时，单纯依赖序列模型可能不够，引入代码的语法结构信息能显著改善模型对长距离依赖的捕捉。对于需要分析大型代码库的应用，这种结构感知方法可能带来实质提升。
结构信息在生成任务中的价值
AST-T5模型在代码生成、转译和理解任务中表现优异，保留了代码结构，并能重建各种代码结构。同时，结构化图文模型通过树级嵌入显著提高了WebNLG 2017数据集的文本生成指标。这些结果说明，将抽象语法树等结构信息融入模型，不仅能提升代码相关任务，还能增强自然语言生成任务的表现，体现了结构信息的通用价值。
可解释性与评估新指标
CAT-probing方法定量解释了代码预训练模型如何关注代码结构，并提出了新的度量CAT-score，通过衡量令牌级注意力得分与AST节点距离之间的公共度量来评估结构关注。这为理解模型内部行为提供了工具，有助于诊断模型是否真正利用了代码结构，而不仅仅是表面模式。对于追求可靠性和可解释性的代码AI应用，这类评估方法值得关注。
Q&A
S^3PET方法的主要优势是什么？
S^3PET方法通过自动化的PET模块结构搜索，使用极少的可训练参数实现高效微调，同时保留超过99%的微调性能。
SASA机制如何提升长代码的理解能力？
SASA机制采用稀疏关注和基于抽象语法树的结构感知关注，能够高效降低计算成本并处理长代码，表现优于竞争基准模型。
AST-T5模型在代码生成任务中的表现如何？
AST-T5模型在代码生成、转译和理解任务中表现优异，保留了代码结构的强大能力，优于其他类似尺寸的大型语言模型。
CAT-probing方法的目的是什么？
CAT-probing方法旨在定量解释CodePTMs如何关注代码结构，并提出新的度量CAT-score来衡量注意力得分与AST节点之间的关系。
基于先验的三阶段监督微调模型有什么优势？
该模型比传统微调方法更具竞争力，能够在编码和对话能力上达到先进水平，尤其在HumanEval基准测试中表现突出。
如何通过预训练和微调改进代码任务的语言模型？
通过结合程序结构与纯文本表示方式，利用预训练和微调方法显著提升代码任务的语言模型性能。
