COSMIC: 任务无关摘要评估的互信息
内容提要
该文综述多模态摘要与评估研究，提出CISum框架，融合图像描述与文本生成摘要，并选取相关图像作为视觉摘要，其多模态语义覆盖优于ROUGE、BLEU；同时介绍基于话语理论、BERT对比学习、SummScore等评估指标，以及语音语言模型COSMIC和对话情感识别框架，并探讨摘要评估与人工判断的差距。
延伸解读
多模态摘要评估的进展与挑战
文章梳理了多模态摘要评估的多种方法，从基于话语理论的生成度量到基于BERT的对比学习，再到SummScore等综合指标，这些方法试图更准确地衡量摘要质量。然而，文章也指出自动评估与人工判断之间仍存在差距，例如在文献综述多文件摘要中，自动度量无法完全捕捉人工评估的质量方面。这提示读者，尽管自动指标不断进步，但人工评估仍是不可或缺的参考。
COSMIC模型的双重含义与启示
文章提到了两个名为COSMIC的模型：一个是语音语言模型，通过数据和成本高效的方式将语音模态融入大型语言模型，在少于20M训练参数和450小时英语语音数据下展示了指令跟随和上下文学习能力；另一个是对话情感识别框架，整合常识知识中的精神状态、事件、因果关系来学习对话互动。两者虽同名但领域不同，读者需注意区分，同时也反映了多模态和常识知识在AI研究中的交叉趋势。
摘要生成与评估的实践参考
文章提到基于预训练语言模型的摘要生成模型，如BART在CNN/DM数据集上生成的摘要甚至比参考摘要获得更高人工评分，这引发了对参考摘要质量的思考。同时，文章还介绍了无监督多文档摘要评估方法，利用上下文化嵌入和软标记对齐，并提出了可用于引导深度学习模型的奖励函数。这些内容为研究者和开发者提供了改进摘要系统及评估策略的具体方向。
Q&A
CISum框架是如何实现多模态摘要生成的？
CISum是一个多任务交叉模态学习框架，它通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。具体做法是将图像转换为视觉描述，与文本内容相关联并融合，进而生成文本摘要，同时选取最相关的图像作为视觉摘要。
CISum的多模态语义覆盖评估指标与ROUGE和BLEU相比表现如何？
实验证明，CISum设计的多模态语义覆盖评估指标在评估多模态语义覆盖方面优于基准ROUGE和BLEU的表现。
COSMIC语音语言模型有什么特点？
COSMIC是一种数据和成本高效的多模态语言模型，将语音模态融入大型语言模型，具备指令跟随和上下文学习能力。它使用GPT-3.5生成基于语音转录的语音理解测试问答对作为指令调整数据，在少于20M训练参数和450小时英语语音数据下，能在语音转文本任务中展示指令跟随和上下文学习能力，甚至能执行未见过的EN到X语音转文本翻译任务。
SummScore是如何评估文本摘要质量的？
SummScore是一种综合衡量文本摘要质量的度量标准，使用CrossEncoder作为基础模型，并采用四个精细化的子模型分别衡量连贯性、一致性、流畅度和相关性，并在极度受限的标注数据上进行半监督多轮训练，显著优于现有的评估指标。
自动摘要评估指标与人工评估之间存在哪些差距？
研究发现，自动化度量无法完全捕捉到人工评估所评估的质量方面。例如，在文献综述的多文件摘要评估中，自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性有限，表明自动指标与人工判断存在差距。
基于BERT的无监督对比学习如何用于摘要评估？
该研究提出了一种基于BERT的新度量方法，通过无监督对比学习评估文档摘要的质量，并证明了该方法可以在没有参考摘要的情况下胜过其他指标。
