ComperDial: 基于常识和角色的对话数据集与基准
内容提要
本文讨论了多语言对话评估的进展，重点介绍了基于英文数据集的 xDial-Eval。研究引入了 SocialDial 和 CGoDial 数据集，提出了新的评估方法 PairEval，并评估了对话系统的个性化和质量。通过对不同模型的比较，提供了对对话评估指标的深入见解，为未来研究提供指导。
延伸解读
多语言对话评估的进展与挑战
文章指出，开放域对话评估的无参考学习测量主要集中于英文，对其他语言的泛化性研究不足。为此，研究者引入基于英文对话评估数据集的xDial-Eval进行多语言基准测试，并建立自监督和多语言基线模型。与ChatGPT相比，最佳基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%，且参数更少。这表明多语言对话评估正逐步受到重视，但现有资源仍以英文为主，其他语言的评估工具和数据集有待丰富。
中文对话评估资源的构建
针对中文对话评估资源的缺乏，文章介绍了两个重要数据集：SocialDial和CGoDial。SocialDial是第一个基于中国社会文化的社交感知对话语料库，使用ChatGPT生成了4,870段数据，并评估了BERT和RoBERTa等预训练模型。CGoDial则是多领域目标导向对话评估的中文基准，包含基于插槽、基于流和基于检索的三个数据集，考虑了训练集和测试集的不同组合，并尝试通过众包添加口语特征来缩小学术基准与口语场景的差距。这些资源为中文对话系统的评估提供了更全面的基础。
评估方法的创新与比较
文章提出了PairEval，一种基于对话响应之间比较的评估方法。与基准度量方法相比，PairEval更具鲁棒性，且与人类判断的相关性更高。此外，文章还介绍了一种数据中心方法，通过利用预测对话响应和个人资料之间联系的原始-对偶结构，增强相关人物角色以改进对话数据集/代理，并修复基准数据集的注释问题。在Persona-Chat上的实验表明，该方法在准确性上比预训练LM高出11.7个百分点。这些方法为提升对话评估的可靠性和个性化代理的性能提供了新思路。
自动评估指标的综合评估
文章对23种不同的自动评估度量在10个不同的数据集上进行了综合评估，并在不同设置中确定其优缺点。评估提供了关于对话评估指标的深入见解，为未来研究提供了有用指导。此外，文章还提到基于心理学的人类度量标准，包括情感熵、语言风格和情感匹配度、宜人性和共情等5个指标，这些指标与自动度量标准不相关，且在预测众包对话评价方面优于现有自动度量标准。这表明结合人类中心的评估框架能提供独特信号，是评估和改进对话系统的有价值工具。
Q&A
xDial-Eval是什么？
xDial-Eval是一个基于英文对话评估数据集的多语言对话评估基准测试。
SocialDial数据集的特点是什么？
SocialDial是第一个基于中国社会文化的社交感知对话语料库，生成了4,870段数据。
CGoDial数据集包含哪些类型的对话？
CGoDial包含基于插槽的对话、基于流的对话和基于检索的对话。
PairEval评估方法的优势是什么？
PairEval比基准度量方法更具鲁棒性，并且与人类判断的相关性更高。
如何改善个性化对话代理的准确性？
通过一种数据中心方法，利用对话响应和个人资料之间的联系来增强相关人物角色。
文章中提到的对话评估指标有哪些？
文章评估了23种不同的自动评估度量，提供了对对话评估指标的深入见解。
