该文综述基于Transformer的长文本建模技术，包括分层文档表示、语篇结构分析、结构感知预训练及层级信息注入等方法，应用于文档分割、问答和摘要等任务，并探讨长文档分类与未来研究方向。