本文探讨了预训练语言模型在语篇关系捕捉中的能力，研究发现BART在捕获篇章信息方面表现最佳，BERT也表现良好。此外，提出的深度顺序模型和结构化预训练对话阅读器SPIDER显著提升了对话文本的理解和生成能力。