本研究提出了一种分段加段的方案，解决了GPT模型在处理用户提示时的注意力屏蔽问题，显著提升了生成性能。实验结果显示，该方法在Llama和Qwen等模型中表现优异。

该文章介绍了一种新的预训练代码模型，利用Transformer模型和注意力屏蔽等方法，能够在缺少符号的情况下学习程序的上下文和相关性，并在多个软件工程任务中取得显著的性能提升。