基于系统和用户角度的对话推荐系统评估协议

💡 原文中文,约500字,阅读约需1分钟。
📝

内容提要

当前的对话推荐系统 (CRS) 存在用户体验问题,需要综合评估协议来改进。研究提出了一个新的评估协议 Concept,整合了系统中心和用户中心因素。协议有两个目的:概述当前 CRS 模型的优缺点,指出 ChatGPT 中的可用性问题,并为 CRS 的改进提供参考指南。

🎯

关键要点

  • 当前的对话推荐系统 (CRS) 在用户体验方面存在问题,尽管学术界取得了进展。
  • 现有评估协议偏重系统中心因素,忽视用户中心的方面。
  • 提出了一个新的评估协议 Concept,整合系统中心和用户中心因素。
  • 通过概括三个关键特性并划分为六个主要能力来实施 Concept。
  • 采用基于 LLM 的用户模拟器和评估器,为每个主要能力定制评分标准。
  • 协议 Concept 的两个目的:概述当前 CRS 模型的优缺点,指出 ChatGPT 的可用性问题。
  • 为 CRS 的改进提供全面的参考指南。
➡️

继续阅读