长文档 Transformer 中的文档结构
内容提要
该文综述基于Transformer的长文本建模技术，包括分层文档表示、语篇结构分析、结构感知预训练及层级信息注入等方法，应用于文档分割、问答和摘要等任务，并探讨长文档分类与未来研究方向。
延伸解读
长文档建模的核心挑战与应对思路
文章指出，长文档建模需应对输入长度限制和文档结构特性。主要思路包括改进Transformer架构以扩展上下文长度，以及利用分层表示和语篇结构。这些方法旨在让模型更有效地处理长文本，并在文档分割、问答和摘要等任务中取得更好效果。
结构感知预训练的实际效果
多项研究表明，引入文档结构信息能提升模型性能。例如，HiStruct+模型通过显式注入层级结构，在PubMed和arXiv数据集上提高了提取式摘要的ROUGE指标。实验还发现，数据集本身的层级结构越明显，性能提升越大，且层级位置信息的贡献最为突出。
语篇结构分析的方法与价值
文章提到，通过分析语篇结构可以生成文档的简洁表示，从而更全面地理解部分间关系。有方法在信息检索中仅用26%的令牌量就达到最佳零样本方法99.6%的性能，并能与自问推理代理结合，在多跳问答中接近使用研究证据的零样本性能。
未来研究方向与待解决问题
综述指出，长文本建模的未来方向包括进一步改进模型架构以处理更长上下文，以及更深入地利用文档结构。同时，如何在不同任务和数据集中平衡结构信息的注入方式，以及评估结构理解对模型泛化的影响，仍是值得探索的问题。
Q&A
长文档Transformer中，分层文档表示是如何预训练的？
从无标注数据中预训练一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子/段落表示。
有哪些方法可以分析预训练语言模型中的语篇结构？
针对预训练和微调语言模型中的语篇信息进行深入分析，提出了一种新颖的推断语篇结构的方法，探讨了BERT和BART模型中内在语篇理解的精确性，并评估了生成的结构与多种基准模型的相似性。
如何改进Transformer架构以有效扩展最大上下文长度？
综述了最新的基于Transformer模型的长文本建模技术，介绍了长文本模型的定义、如何满足输入长度限制和改进Transformer的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。
结构导向的指导能否使Transformer语言模型学习更接近人类的系统语言泛化？
研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使Transformer语言模型学习更接近人类的系统语言泛化。通过在BLLIP数据集上对两种新模型进行实验，发现引入结构性解析的辅助训练能够提高Transformer语言模型在句法推理上的泛化能力。
HiStruct+模型如何提高提取式文摘的性能？
通过提出的HiStruct+模型，将Transformer-based language models中的层级结构信息显式注入到提取式文摘模型中，提高了PubMed和arXiv数据集中提取式文摘的ROUGEs指标。实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。
在长文档分类中，模型融合与BERT和Longformer架构相比效果如何？
通过比较模型融合与BERT和Longformer架构的结果，研究探讨了在长文档分类中采用模型融合的方法。
