AlignSum:数据金字塔与层级微调,提升文本摘要模型性能 | EMNLP'24 - 晓飞的算法工程笔记
原文中文,约2500字,阅读约需6分钟。发表于: 。来源:晓飞的算法工程笔记 公众号,转载请注明出处 论文: AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference 论文地址:https://arxiv.org/a
论文提出了AlignSum框架,通过构建数据金字塔,结合抽取、生成和人工标注的方法,提升预训练语言模型在文本摘要生成中的能力。该框架解决了低质量数据导致的自动与人工评估不一致问题,并采用高斯重采样和两阶段微调策略,使模型更好地对齐人类摘要偏好。实验结果表明,AlignSum显著提升了模型性能。