结构化信息的重要性：将抽象意义表示引入到 LLMs 中以提高开放域对话评估
内容提要
本文探讨了抽象意义表示（AMR）在神经对话建模中的应用，提出了一种基于语义的预训练框架，以提升对话理解和响应生成的效果。研究表明，结合多模态信息和情感知识的对话型大型语言模型在情感识别方面表现优异。此外，构建的方言生成数据集用于评估基于大型语言模型的评估器的可靠性。
延伸解读
AMR 在对话建模中的核心作用
文章指出，将抽象意义表示（AMR）图构建到对话系统中，能显著提升对话理解和响应生成任务的效果。基于语义的预训练框架利用 AMR 捕捉对话中的核心语义信息，在闲聊和任务导向对话的理解上优于标准预训练框架，并且是首次在对话预训练中利用深层语义表示。这表明深层语义表示对对话建模具有重要价值。
多模态与情感知识提升情感识别
文章提到，使用多模态信息、上下文和情感知识调整的对话型大型语言模型（DialogueLLM），通过对 13,638 个多模态（文本和视频）情感对话进行微调，克服了大型语言模型在情感识别方面的局限性，并在三个基准情感对话识别数据集上进行了全面评估。这说明结合多模态和情感知识能有效增强模型的情感识别能力。
方言数据集揭示 LLM 评估器风险
文章构建了两个方言生成数据集 KdConv-ADV 和 DSTC7-ADV，以综合评估基于 LLMs 的评估器的可靠性。研究发现，使用基于 LLMs 的参考无关评估器评估对话响应存在风险。这提醒研究者和实践者，在依赖 LLM 作为评估工具时需谨慎，尤其是在方言等多样化场景下。
Q&A
抽象意义表示（AMR）在对话建模中有什么作用？
AMR可以显著提高对话理解和响应生成的效果，捕捉对话中的核心语义信息。
这篇文章提出了什么样的预训练框架？
文章提出了一种基于语义的预训练框架，利用AMR来提升对话理解和生成效果。
结合多模态信息的对话型大型语言模型有什么优势？
这种模型在情感识别方面表现优异，克服了大型语言模型的局限性。
文章中提到的方言生成数据集有什么用途？
构建方言生成数据集用于评估基于大型语言模型的评估器的可靠性。
如何提高神经对话模型的实用性？
可以通过使用对抗性负面样本来提高模型的实用性。
文章中提到的情感分析框架是如何工作的？
该框架包括推理注入生成器和评估生成器，通过迭代使两者达成一致，解决情感分析中的单一决策缺陷。
