本研究提出了一种保形风险控制框架,旨在解决图像标题评估指标的局限性,特别是对单个词错误的细粒度评估和不确定性校准,从而显著提升了CLIPScore的可靠性。
该研究提出了一种新的细粒度评估方法,通过自动生成细微差异的测试字幕,提升视频-文本检索模型对细微差异的理解能力,并揭示当前评估基准的不足。
本文综述对话摘要忠实度研究,利用自然语言推理模型检测事实不一致,提出SummaCConv、FFLM、T0-Score等评估方法,并构建FFCI细粒度评估框架和LongEval人工评估指南,在DialogSum、SAMSum等数据集上验证有效性。
该文综述无监督意见摘要研究,涵盖变分自编码器、分层离散潜空间、文本蕴涵构建银标准摘要、语义自动编码器、孪生网络与可微背包长度控制等方法,从大量评论中提取共识观点,生成抽取式或抽象式摘要,并在Rotten Tomatoes、SPACE、亚马逊等数据集上验证性能,部分研究还提出基于Facet的细粒度评估方法。
完成下面两步后,将自动完成登录并继续当前操作。