该研究分析了四种大语言模型在2.1万轮对话中的人类化行为,发现其普遍存在但随模型和用户因素变化。人类评估认为,模型表达自我和建立关系的行为不如人类合适,但维护边界的行为更合适。系统提示可控制这些行为,但需谨慎评估以避免副作用,为负责任设计提供建议。
本文提出了一种新颖的基于特征的框架,结合特征方法和神经网络的优势,以评估对话的建设性。该框架定义了一组可解释的语言特征,训练出比传统模型更强的预测规则,并揭示用户行为与主观评估之间的关系。同时,研究了共情评估框架及其与对话满意度的相关性,提出了自动对话共情评估的分类器,并探讨了开放领域对话系统的交互式评估方法。
该文综述大语言模型对话评估研究,发现GPT-4在多轮对话生成上质量出色,ChatGPT在摘要、简化、语法纠错任务中多优于其他模型,但经典自动指标得分偏低,人工评估显示黄金参考质量较差;GPT-4模型排名与人类判断较一致,语法纠错一致性较低。研究还涉及阿拉伯语多轮指令、MINT工具反馈、LLM-Eval多维评估、SciEval科学能力、L-Eval长上下文及xDial-Eval多语言基准。
该文汇总多项大语言模型对话研究:XUAT-Copilot多代理系统自动完成微信支付UAT测试,效果接近人工;MPC模块化提示实现长期一致对话;GPT-4多轮对话质量优异;ChatEval以多代理辩论评估生成质量;京都观光对话系统兼顾灵活与稳定;另有ChatGPT逐轮质量预测、UMLS医学问答增强、移动UI自然语言交互、UltraChat数据集微调LLaMA、UserGPT生成RealChat数据,以及ReaLM在MT-Bench获6.33分。
本文综述大语言模型在任务导向对话系统中的应用:提出基于预训练模型的用户模拟器以评估对话系统能力,梳理对话系统与语言模型的发展关系;发现大模型在显式信念状态跟踪上弱于专用模型,但能引导对话成功;介绍零样本端到端框架InstructTODS及结合目标奖励的ProToD;探讨大模型用于对话评估,提出鲁棒多语言评估框架与基准DialogBench;比较BART与T5的微调效果;并提出基于大纲的多语言对话数据集标注方法。
本文综述多项大语言模型评估研究:提出结合提示性大语言模型的对话评估框架,在DSTC11鲁棒性与多语言任务中领先;EvalLM让开发者以自然语言标准迭代改进提示;StudentEval用学生提示评测代码模型;LLMBar元评估基准考察LLM评判指令遵循文本的能力;并提出提示分类法、统一评估库PromptBench、多维对话评估方法LLM-Eval,研究提示鲁棒性、语义信息对代码摘要的增益及LLM替代人工评估的可行性。
该研究使用预训练语言模型和高质量标注的对话数据,建立了一个基于英文对话评估数据集的多语言对话评估基准测试。最好的基线模型在所有数据集和语言上的平均 Pearson 相关系数分别提升了6.5%和4.6%。该研究旨在解决开放域对话评估指标在其他语言上的泛化性问题。
xDial-Eval是一种基于英文对话评估数据集的多语言对话评估基准测试,建立了自监督和多语言基线模型。最好的基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%。
完成下面两步后,将自动完成登录并继续当前操作。