VDialogUE: 一个统一的可视对话评估基准
原文中文,约400字,阅读约需1分钟。发表于: 。提出了 VDialogUE 基准测试,定义了五个核心多模态对话任务,并提出了一种综合评估模型性能的新评估指标 VDscore,同时介绍了一种名为 VISIT 的基准模型,该模型通过两阶段的预训练策略逐步构建多模态基础和对话能力,以促进通用多模态对话系统的发展。
AffectVisDial是一个大规模数据集,包含50,000个10轮的视觉对话,用于测试在视觉对话中理解情感形成的能力。该数据集涉及基于对话的问答、情感预测和情感解释生成等三个技能。作者训练并展示了基于最先进模型的情感视觉对话基准,并指出其模型生成的回答显示了对视觉对话中情感推理能力有希望的结果。