本文通过邻接矩阵统一理解Sparse Transformer、Longformer和BigBird三种固定稀疏注意力模式，分析其图论依据、工程代价及生产落地难点。文章指出稀疏注意力未取代全注意力，原因在于kernel生态、训练配方和任务敏感性限制，并讨论学习型稀疏的争论与开放问题。

该研究提出了一种两阶段框架，解决科学论文摘要中结构信息不足的问题。通过自动识别标准化章节标题，并利用Longformer生成上下文感知摘要，实验结果表明该方法优于现有基线。

本研究通过LongFormer改进医疗文本摘要模型，提升了信息保留和摘要准确性。实验结果表明，该模型在ROUGE指标上优于传统模型，但在简洁性和可读性方面仍需改进。

本研究将游戏事件序列建模为定制自然语言，利用Longformer模型识别重要玩家群体，展示自监督语言模型在游戏设计中的潜力。

本研究探讨了处理长篇法律文本的两种方法：改进的 Longformer 和 TF-IDF 表示。结果表明，改进的 Longformer 在 LexGLUE 中表现最佳，且计算效率更高。研究还提出了通过短输入和递归方法提高模型效率的策略，显著加速训练并减少内存使用。此外，探讨了 Transformer 模型在低资源语言翻译中的应用及超参数调整的重要性。

本文综述医学长序列Transformer语言模型研究：提出处理临床文本长期依赖的预训练模型，在十项基准测试中达最优；比较法语DrBERT、CamemBERT-Bio及意大利语生物医学模型；发布法语基准DrBenchmark；Longformer提升电子病历F1值10%；LongBoX数据集显示长序列处理仍困难，需改进。

该文汇总了多项自然语言处理预训练研究：SpanBERT改进BERT的掩蔽与训练方式，在跨度选择、指代消解等任务上表现更优；Longformer以更少算力实现高效预训练；SSPT将预训练转为阅读理解；此外还有面向冒犯语言识别、任务型对话、事实核查的预训练模型，以及SpERT、毒性跨度检测和WMT'22翻译建议系统等成果。