该文章介绍了一种新的预训练代码模型，利用Transformer模型和注意力屏蔽等方法，能够在缺少符号的情况下学习程序的上下文和相关性，并在多个软件工程任务中取得显著的性能提升。
完成下面两步后，将自动完成登录并继续当前操作。
