重新思考基于 Transformer 的多文档摘要:实证调查
原文中文,约400字,阅读约需1分钟。发表于: 。Transformer 模型在多文档摘要中的性能和行为表现进行了五个经验性研究,包括文档边界分隔符的量化影响、不同主流 Transformer 结构的有效性、编码器和解码器的敏感性、不同训练策略的讨论以及摘要生成中的重复问题。实验结果揭示了不同级别特征的粒度和不同模型训练策略的影响,解码器对噪声的敏感性大于编码器。这强调了解码器在 MDS...
本研究探讨了Transformer模型在多文档摘要中的性能和行为表现,发现不同特征粒度和训练策略对模型影响较大,解码器对噪声敏感性高于编码器。实验结果还发现生成摘要中的重复问题与高不确定性得分相关。