多元观点的公平抽象摘要

BriefGPT - AI 论文速递 · 2023-11-14T00:00:00Z

本文介绍了一个新任务：摘要多篇新闻文章中的多样信息。作者创建了DiverseSumm数据集并进行了全面分析。研究发现，大型语言模型在评估摘要全面性和忠实度时存在位置和冗长偏差，并且与人工评估相关性较低。作者还发现，尽管大型语言模型在单篇文档摘要方面表现出色，但在摘要多篇新闻文章时仍面临挑战。