探索科学情绪摘要的多文档信息整合
内容提要
该文综述多文档摘要与评估研究，提出情感分析多LLM协商框架，构建ORSUM、DiverseSumm、PeerSum、MS²等数据集，开发跨异构文档的抽象摘要框架及可控内容提取方法；发现LLM摘要常优于人工参考，但信息覆盖不足，GPT-4平均覆盖不到40%；并提出基于LLM的多角色评估框架。
延伸解读
多文档摘要的覆盖挑战
文章指出，尽管大语言模型在单文档摘要上表现优异，但在处理涉及同一事件的多篇新闻文章时，覆盖多样信息的能力有限。例如，GPT-4平均只能覆盖不到40%的多样信息。这表明当前模型在整合分散信息方面仍有不足，读者需注意模型摘要可能遗漏关键细节。
LLM摘要与人工参考的对比
研究发现，大语言模型生成的摘要常优于人工撰写的参考摘要，人类评估者更偏好LLM摘要，因其事实连贯性更好且外在幻觉更少。然而，这并不意味着LLM摘要完美无缺，信息覆盖不足仍是主要短板，实际应用中需权衡流畅性与完整性。
评估框架的创新与局限
文章提出基于LLM的多角色评估框架，通过角色扮演提示模拟客观和主观维度，并集成多个评估结果。实验显示该框架与人类注释者高度一致，具有竞争力。但评估仍依赖参考文本，且可能受提示设计影响，读者应关注其泛化能力。
Q&A
情感分析中单一决策缺陷怎么解决？
论文提出一种多LLM协商框架，包含推理注入生成器提供决策及理由，以及评估生成器可信度的解释推导鉴别器，通过迭代使生成器和鉴别器达成一致，从而解决单一决策缺陷。实验证明该方法在各种情感分析基准上表现更好。
科学观点总结任务是什么？用了什么数据集和方法？
科学观点总结任务是对科学观点进行总结，使用了新的ORSUM数据集和Checklist-guided Iterative Introspection (CGI²)方法来实现。
多文档摘要中如何整合分散的多样信息？
论文提出新任务：摘要涉及同一事件的多篇新闻文章中的多样信息。为此确定了识别多样信息的数据收集模式，创建了DiverseSumm数据集，包含245个新闻故事，每个故事10篇新闻文章，并配有人工验证的参考摘要。分析表明LLM覆盖范围有限，GPT-4平均只能覆盖不到40%的多样信息。
PeerSum数据集和Rammer模型是做什么的？
PeerSum数据集用于生成高度抽象的科学论文审稿的meta-reviews，Rammer模型通过稀疏注意力机制预测元数据特征，以提高多文档摘要系统的能力。
如何对多文档摘要进行可控内容提取？
论文研究了一种用于多文档摘要的通用的可控方法，利用大型语言模型来提炼文本。具体训练了一个可控的内容提取方案，用于提取需要由大型语言模型提炼的文本。该方案采用新颖的覆盖和连贯性直观策略，并由一个被动训练的大型语言模型适当奖励。方法在ROUGE指标上取得有竞争力的结果，并在人工评估中连贯性方面胜过潜在基准。
基于LLM的摘要评估框架是如何工作的？
论文提出一种基于LLM的评估框架，通过比较生成文本和参考文本来提供全面评估。模型基于角色扮演者提示机制模拟生成文本的客观和主观维度，引入上下文提示机制生成基于输入上下文的动态角色扮演者配置文件，并根据批处理提示设计多角色扮演者提示技术，将多个评估结果集成到评估结果中。在自动摘要任务的两个真实数据集上实验结果表明，该模型具有竞争力，且与人类注释者高度一致。
