Do Large Language Models Recognize Your Preferences? Evaluating the Ability to Follow Personalized Preferences
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了PrefEval基准,用于评估大型语言模型(LLMs)在长对话中推断、记忆和遵循用户偏好的能力。经过PrefEval微调后,LLMs在个性化响应方面的性能显著提升,推动了个性化对话代理的发展。
🎯
关键要点
- 本研究提出了PrefEval基准,用于评估大型语言模型(LLMs)在长对话中推断、记忆和遵循用户偏好的能力。
- 尽管使用先进的方法,LLMs在长文本中遵循用户偏好的准确率仍然较低。
- 经过PrefEval微调后,LLMs在个性化响应方面的性能显著提升。
- PrefEval的研究推动了个性化对话代理的发展。
➡️