DEPTH：分层预训练的议程教育
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文探讨了预训练语言模型在语篇关系捕捉中的能力，研究发现BART在捕获篇章信息方面表现最佳，BERT也表现良好。此外，提出的深度顺序模型和结构化预训练对话阅读器SPIDER显著提升了对话文本的理解和生成能力。
🔎
延伸解读
预训练模型篇章能力的关键发现
文章通过七种预训练语言模型和七种篇章探测任务，将研究从句子级提升到文档级，发现BART在捕获篇章信息上表现最佳，但仅其编码器部分最优；BERT作为基准也出奇地好。这提示读者，模型架构和层数对篇章理解影响显著，且不同模型间差距巨大，选择时需针对任务具体评估。
跨域泛化：预训练模型的明显短板
在句子入侵检测任务中，预训练语言模型在域内评估表现出色，但跨域设置下性能大幅下降，表明其跨域推广能力有限。文章还指出，在新语言探测数据集上跨域设置仍有很大改进空间。这提醒读者，实际应用中若目标领域与预训练数据差异大，需谨慎评估模型表现。
对话理解的结构化预训练方法
针对多方对话，文章提出深度顺序模型解析话语依赖结构，性能优于所有最先进基线；SPIDER则通过复原语音顺序和句子骨干规则化两个目标，有效捕获对话中的任务相关知识，并在对话基准测试中取得显著结果。这些方法强调利用对话特有结构来提升理解与生成。
❓
Q&A
BART和BERT在捕获篇章信息方面的表现如何？
研究表明，BART在捕获篇章信息方面表现最佳，而BERT也表现良好。
什么是语义语言模型（SemLM），它的作用是什么？
语义语言模型（SemLM）能够提高共指消解和话语分析的性能。
深度顺序模型的主要功能是什么？
深度顺序模型用于解析多方对话的话语依赖结构，实验结果优于所有最先进的基线。
SPIDER模型是如何提升对话文本理解的？
SPIDER通过结合两个训练目标，有效捕获对话文本中的任务相关知识。
研究中提到的四种实现方式是什么？
文章提出了语义链模型和话语信息模型，并探讨了四种实现方式，但具体实现方式未详细列出。
预训练语言模型在跨域设置中的表现如何？
预训练语言模型在跨域设置中表现出大幅下降，表明其对跨域推广的能力有限。
🏷️
