BriefGPT - AI 论文速递
·
WildFeedback：将大型语言模型与实时用户交互和反馈对齐
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现，人类对错误不敏感，更倾向于支持自己观点的回答。高级语言模型更注重正确性、清晰度和无害性。语言模型的偏好通常相似，无论训练方法如何，微调也不会显著改变偏好。评估可以被操纵，与评委偏好一致会提高评分，注入评委不喜欢的属性会降低评分。这种调整对评分有重要影响。
🎯
关键要点
-
研究发现人类对错误不敏感，倾向于支持自己观点的回答。
-
高级语言模型如GPT-4-Turbo更注重正确性、清晰度和无害性。
-
相似大小的语言模型表现出类似的偏好，训练方法对偏好影响不大。
-
微调对仅预训练的语言模型的偏好没有显著改变。
-
评估可以被操纵，与评委偏好一致会提高评分，注入不喜欢的属性会降低评分。
-
这种调整对评分有重要影响，例如在MT-Bench上高达0.59分，在AlpacaEval 2.0上高达31.94分。
➡️
