当前语言模型在生成长文本时常忽视早期上下文信息，可能是因为预训练中学到的注意力先验知识。为此，提出了一种“注意力排序”方法，通过对注意力进行排序来提升生成效果。这一方法在解码时对文档进行排序，改善生成效果，并指出使用现有语言模型进行检索增强生成的挑战。

当前语言模型在生成长文本时存在问题，主要原因是早期信息受到较少关注。研究发现通过注意力排序可以改进模型性能。使用现成的语言模型进行检索增强生成时存在挑战。

当前语言模型在生成长文本时存在问题，主要原因是较早出现的相关信息受到较少关注。研究者提出了一种“注意力排序”方法，通过对文档进行排序来改进模型性能。研究结果显示使用现成的语言模型进行检索增强生成存在挑战。