本研究提出了一种基于分段的注意力屏蔽方法，解决了GPT模型在处理用户提示时的注意力限制问题。通过非因果方式访问信息，提升了生成性能。实验结果表明，该方法在Llama和Qwen等模型中表现优异。

该文章介绍了一种新的预训练代码模型，利用Transformer模型和注意力屏蔽等方法，能够在缺少符号的情况下学习程序的上下文和相关性，并在多个软件工程任务中取得显著的性能提升。