本文介绍了多种基于Transformer的模型扩展方法，如SLED、PEGASUS-X和Unlimiformer，旨在高效处理长输入序列，尤其在长文本摘要任务中表现优异。这些模型无需大量参数或并行训练，同时研究了无位置编码（NoPE）在长度泛化中的应用，并提出了改进方法以提升性能。这些创新为自然语言处理领域提供了新的解决方案。

本文探讨了Transformer架构的稀疏性对计算效率的影响，研究发现权重稀疏性与训练数据量相关，最佳稀疏度随数据量增加而提高。提出了一种新方法，通过稀疏层实现高效的Transformer模型，在保持相同参数数量的情况下，性能优异，特别是在长文本摘要任务中表现突出。

本研究提出了长文本自动摘要的人工评估指南LongEval，旨在提高评估信度并减少评估者工作量。调研162篇论文发现，神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用，提出了新指标FFLM和FIB基准，发现现有模型在一致性评分上存在问题。最终，强调了改进评估方法的重要性，以提升摘要的可信度和准确性。

本文探讨了长文本摘要中的关键问题，如数据集自动采集、评估指标不足和模型样本多样性不足。研究提出了一种基于Transformer的自动摘要方法，利用检索技术降低处理成本，并通过实验验证了其在流畅性和信息量上的优势。此外，介绍了针对科学论文的SciBERTSUM框架，提升了长文本摘要的效果。

该文介绍了一种简单的框架，使预训练Transformer能够处理更长的序列，同时计算和内存成本与输入序列长度线性增长。通过在编码步骤中对块间信息进行对齐，提取块间语义信息。实验结果表明，该方法在长文本摘要和阅读理解任务上取得了有效的改进。