个人化大型语言模型：根据个体偏好定制LLM
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了个性化LLM交互中缺乏对用户独特偏好的适应性的问题。通过构建PersonalLLM数据集，该研究提出了一种基于多样化激励模型的方法，以模拟用户的异质性偏好，推动个性化算法的发展。最重要的发现是，该方法能够有效利用相似用户的历史数据来应对数据稀疏性挑战，为个性化LLM提供了创新的测试平台。
研究表明，人类在选择语言模型回答时倾向于支持自身观点，对错误不敏感，不喜欢模型承认局限性。相比之下，高级语言模型如GPT-4-Turbo更注重正确性和无害性。相似大小的模型表现出类似偏好，训练方法影响不大。对齐微调对偏好影响有限。偏好评估可被操控，调整模型以符合评委偏好会提高评分，反之则降低。
