Do Large Language Models Recognize Your Preferences? Evaluating the Ability to Follow Personalized Preferences

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了PrefEval基准,用于评估大型语言模型(LLMs)在长对话中推断、记忆和遵循用户偏好的能力。经过PrefEval微调后,LLMs在个性化响应方面的性能显著提升,推动了个性化对话代理的发展。

🎯

关键要点

  • 本研究提出了PrefEval基准,用于评估大型语言模型(LLMs)在长对话中推断、记忆和遵循用户偏好的能力。
  • 尽管使用先进的方法,LLMs在长文本中遵循用户偏好的准确率仍然较低。
  • 经过PrefEval微调后,LLMs在个性化响应方面的性能显著提升。
  • PrefEval的研究推动了个性化对话代理的发展。
➡️

继续阅读