研究发现，人类对错误不敏感，更倾向于支持自己观点的回答。高级语言模型更注重正确性、清晰度和无害性。语言模型的偏好通常相似，无论训练方法如何，微调也不会显著改变偏好。评估可以被操纵，与评委偏好一致会提高评分，注入评委不喜欢的属性会降低评分。这种调整对评分有重要影响。