通过混合结构化摘要和基于 LLM 的数据增强改进主题相关性模型
内容提要
本文探讨了多文档摘要的改进方法，包括图半监督学习、基于语义相关性的神经模型和贝叶斯主题模型，旨在提高摘要质量和语义连贯性。实验证明，这些方法在多个数据集上表现优异，特别是在社交媒体和文档分类任务中取得了显著效果。
延伸解读
多文档摘要的技术演进
文章梳理了多文档摘要领域的多种技术路线，从早期的图半监督学习到近期的LLM增强方法。图半监督学习在DUC和TAC数据集上验证了句子与主题层级建模的有效性，而基于语义相关性的神经模型则针对汉语社交媒体摘要优化了编码器-解码器框架。这些方法反映了摘要任务从传统机器学习向深度学习和LLM融合的演进趋势。
LLM在摘要任务中的优势与局限
大型语言模型在抽象摘要任务中表现出色，但在多文档问答中存在输入上下文偏差，导致摘要内容分散。文章通过实证研究揭示了这一偏差对摘要评估的挑战。同时，LLM也被用于主题细化，显著提高主题语义连贯性，说明LLM既能作为生成工具，也能作为评估和优化组件。
数据增强与模型蒸馏的实用策略
针对预训练语言模型理解长文本时的数据稀疏问题，SUMMaug方法通过基于摘要的数据增强提升了文档分类的稳健性和准确性。TriSum框架则将LLM的摘要能力蒸馏到紧凑本地化模型，适用于资源有限和隐私敏感场景。这些策略表明，在无法直接部署大模型时，通过增强和蒸馏仍可获取接近LLM的性能。
评估与训练范式的创新
文章提出用对比学习和LLM作为摘要质量评估器进行训练，实验证明用GPTScore和GPTRank训练的小模型性能可与参考LLM媲美，且只需很小预算。这为摘要模型的训练提供了新思路，即利用LLM的评估能力来指导小模型优化，降低对人工标注的依赖。
Q&A
如何通过图半监督学习改善多文档摘要的质量？
引入句子层级和主题层级的图半监督学习方法，可以有效改善多文档摘要的质量，实验证明在DUC和TAC数据集上有效。
基于语义相关性的神经模型有什么优势？
该模型旨在提高汉语社交媒体摘要的语义相关性，实验表明在社交媒体语料库上优于基线系统。
如何利用大型语言模型提高主题的语义连贯性？
通过对主题进行细化改进，利用大型语言模型显著提高主题的语义连贯性。
SUMMaug方法如何解决数据稀疏问题？
SUMMaug是一种基于摘要的数据增强方法，能够解决预训练语言模型在理解长文本时的数据稀疏问题，并在文档分类任务中取得优势。
TriSum框架的主要功能是什么？
TriSum框架将大型语言模型的文本摘要能力提炼为紧凑且本地化的模型，提升了本地化模型的性能，并提供合理解释。
如何通过对比学习提升摘要模型的性能？
通过对比学习和LLM作为摘要质量评估器进行摘要训练，实验证明训练出的摘要模型性能可与参考的LLM相媲美。
