小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
审视大语言模型中的人类化行为:模型行为、用户因素与系统提示的多维分析

该研究分析了四种大语言模型在2.1万轮对话中的人类化行为,发现其普遍存在但随模型和用户因素变化。人类评估认为,模型表达自我和建立关系的行为不如人类合适,但维护边界的行为更合适。系统提示可控制这些行为,但需谨慎评估以避免副作用,为负责任设计提供建议。

审视大语言模型中的人类化行为:模型行为、用户因素与系统提示的多维分析

Apple Machine Learning Research Apple Machine Learning Research · 2026-08-19T00:00:00Z

本文提出了一种新颖的基于特征的框架,结合特征方法和神经网络的优势,以评估对话的建设性。该框架定义了一组可解释的语言特征,训练出比传统模型更强的预测规则,并揭示用户行为与主观评估之间的关系。同时,研究了共情评估框架及其与对话满意度的相关性,提出了自动对话共情评估的分类器,并探讨了开放领域对话系统的交互式评估方法。

互动至关重要:评估英语二语对话中的交互对话评估框架

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

该文综述大语言模型对话评估研究,发现GPT-4在多轮对话生成上质量出色,ChatGPT在摘要、简化、语法纠错任务中多优于其他模型,但经典自动指标得分偏低,人工评估显示黄金参考质量较差;GPT-4模型排名与人类判断较一致,语法纠错一致性较低。研究还涉及阿拉伯语多轮指令、MINT工具反馈、LLM-Eval多维评估、SciEval科学能力、L-Eval长上下文及xDial-Eval多语言基准。

MT-Eval: 大型语言模型的多轮能力评估基准

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-30T00:00:00Z

该文汇总多项大语言模型对话研究:XUAT-Copilot多代理系统自动完成微信支付UAT测试,效果接近人工;MPC模块化提示实现长期一致对话;GPT-4多轮对话质量优异;ChatEval以多代理辩论评估生成质量;京都观光对话系统兼顾灵活与稳定;另有ChatGPT逐轮质量预测、UMLS医学问答增强、移动UI自然语言交互、UltraChat数据集微调LLaMA、UserGPT生成RealChat数据,以及ReaLM在MT-Bench获6.33分。

多用户聊天助手 (MUCA): 一种利用 LLMs 促进群组对话的框架

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-10T00:00:00Z

本文综述大语言模型在任务导向对话系统中的应用:提出基于预训练模型的用户模拟器以评估对话系统能力,梳理对话系统与语言模型的发展关系;发现大模型在显式信念状态跟踪上弱于专用模型,但能引导对话成功;介绍零样本端到端框架InstructTODS及结合目标奖励的ProToD;探讨大模型用于对话评估,提出鲁棒多语言评估框架与基准DialogBench;比较BART与T5的微调效果;并提出基于大纲的多语言对话数据集标注方法。

DIALIGHT:基于大型语言模型的轻量级多语言任务导向对话系统开发与评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-04T00:00:00Z

本文综述多项大语言模型评估研究:提出结合提示性大语言模型的对话评估框架,在DSTC11鲁棒性与多语言任务中领先;EvalLM让开发者以自然语言标准迭代改进提示;StudentEval用学生提示评测代码模型;LLMBar元评估基准考察LLM评判指令遵循文本的能力;并提出提示分类法、统一评估库PromptBench、多维对话评估方法LLM-Eval,研究提示鲁棒性、语义信息对代码摘要的增益及LLM替代人工评估的可行性。

当下现状?对多指令语言模型评估的呼吁

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-31T00:00:00Z

该研究使用预训练语言模型和高质量标注的对话数据,建立了一个基于英文对话评估数据集的多语言对话评估基准测试。最好的基线模型在所有数据集和语言上的平均 Pearson 相关系数分别提升了6.5%和4.6%。该研究旨在解决开放域对话评估指标在其他语言上的泛化性问题。

DiQAD: 一个用于端到端开放域对话评估的基准数据集

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-25T00:00:00Z

xDial-Eval是一种基于英文对话评估数据集的多语言对话评估基准测试,建立了自监督和多语言基线模型。最好的基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%。

NormDial: 用于建模社会规范遵守与违规的可比较双语合成对话数据集

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码