本文介绍了现代大型语言模型（LLMs）在处理较长序列时的上下文长度外推方法，并提出了一种修改位置编码基础的截断策略。作者通过广泛调研发现线性标度是扩展上下文长度的最佳方法，并且使用更长的标度在评估时可以获得进一步的收益。作者还发布了三个新的13B参数长上下文模型，并提供了复制结果的代码。