本文综述了大语言模型上下文窗口扩展方法，包括CLEX、RoPE调整、并行上下文窗口、语义压缩、LargeRoPE、ICAE、E2-LLM、Giraffe和YaRN等。这些方法通过位置编码外推、注意力缩放、上下文压缩和持续预训练，将上下文扩展至训练长度的数倍甚至32k以上，在长文本问答、摘要等任务中表现优异且计算高效。

该文综述了扩展大语言模型上下文窗口的多种方法：语义压缩利用源编码减少长输入冗余，使LLM可处理6-8倍长文本；CLEX通过连续长度外推将窗口扩至训练长度的4-8倍；E2-LLM降低计算成本以支持任意长度；Giraffe采用线性标度位置编码，训练出4k、16k、32k上下文模型；EVALM基于高效Transformer可测试256k上下文。研究还表明，长上下文持续预训练比从头进行长序列训练更高效。