代码语言模型中注意力的自然性再探
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文研究了CodeBERT模型基于AST和静态分析的能力，通过自我关注机制和MLM在令牌级别上学习代码语法和语义。文章提出了一组任务来分析CodeBERT模型，并提出了一种替代方法来预训练模型，以学习代码语法和语义。
🏷️
