研究大型语言模型中的相似性判断的情境效应
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了大型语言模型（LLMs）与人类决策之间的对齐问题，特别是受到顺序偏差影响的相似性判断。通过复现经典的人类研究，本研究揭示了不同设定下LLMs展现出类人顺序效应偏差的现象，这为LLM基础应用的设计和开发提供了重要的启示。
本文探讨了使用SLAM作为替代方案来评估语言模型的可行性，通过解决偏向高标记数的偏差问题，重新校准评估器与人类评估之间的差异。研究结果显示，重新校准的评估器与人类评估之间的相关分数显著改善，强调了考虑偏差的重要性。重新校准过程提高了自动评估器的可靠性，产生与人类价值观和期望相一致的更好的AI模型。该研究为未来的偏差校正研究提供了方法，并强调了开发与人类一致的AI评估系统的可行性和益处。
