本文介绍了多种基于Transformer的模型扩展方法，如SLED、PEGASUS-X和Unlimiformer，旨在高效处理长输入序列，尤其在长文本摘要任务中表现优异。这些模型无需大量参数或并行训练，同时研究了无位置编码（NoPE）在长度泛化中的应用，并提出了改进方法以提升性能。这些创新为自然语言处理领域提供了新的解决方案。