该研究提出了一种两阶段框架，解决科学论文摘要中结构信息不足的问题。通过自动识别标准化章节标题，并利用Longformer生成上下文感知摘要，实验结果表明该方法优于现有基线。

本研究通过LongFormer改进医疗文本摘要模型，提升了信息保留和摘要准确性。实验结果表明，该模型在ROUGE指标上优于传统模型，但在简洁性和可读性方面仍需改进。

本研究将游戏事件序列建模为定制自然语言，利用Longformer模型识别重要玩家群体，展示自监督语言模型在游戏设计中的潜力。

本研究探讨了处理长篇法律文本的两种方法：改进的 Longformer 和 TF-IDF 表示。结果表明，改进的 Longformer 在 LexGLUE 中表现最佳，且计算效率更高。研究还提出了通过短输入和递归方法提高模型效率的策略，显著加速训练并减少内存使用。此外，探讨了 Transformer 模型在低资源语言翻译中的应用及超参数调整的重要性。

该论文介绍了一种新的自动ICD编码方法，使用了基于Transformer的文本编码模型，并探索了将模型调整为Longformer或将文本分块处理的方法。实验结果表明，该方法在ICD编码方面优于当前最先进的模型，并且标签嵌入有助于提高性能。该方法还导致适当校准的分类结果，可用于下游任务。