研究大型语言模型中的相似性判断的情境效应
内容提要
研究表明，大型语言模型（LLMs）在决策和偏见方面与人类表现相似。尽管在分类和推理能力上存在显著差异，但人类与LLMs的合作可以产生协同效应。研究提出了新的对齐框架，强调偏好评估的可操控性，并指出偏差校正对确保AI模型与人类价值观一致的重要性。
延伸解读
人类与LLM偏好差异的实践含义
文章指出，人类对错误不太敏感，倾向于支持符合自身观点的回答，而GPT-4-Turbo等高级模型更强调正确性、清晰度和无害性。这意味着在依赖LLM进行内容评估或决策辅助时，模型可能比人类更严格地追求事实准确，但人类可能更看重观点认同。理解这一差异有助于合理设定人机协作中的角色分工。
偏好评估可被操纵的风险
研究发现，将模型与评委的偏好对齐可提高评分，注入评委不喜欢的属性则降低评分，在MT-Bench上评分变化高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制）。这提示读者，基于偏好的自动化评估可能被策略性调整所影响，在解读模型排名或基准结果时需保持审慎。
偏差校正对评估可靠性的价值
文章提到，通过贝叶斯统计和t检验量化LLM评估器偏向高标记数的偏差，并重新校准GPTScorer，在推荐系统案例中将与人类评估的斯皮尔曼等级相关分数从-27.27提高到44.55。这表明偏差校正能显著提升自动评估器与人类判断的一致性，是构建可信AI评估系统的重要步骤。
AOV评估方法不统一带来的挑战
文章强调，测量LLM中的态度、观点和价值（AOV）仍模糊不清，不同评估方法可能得出不同结果。这给理解模型类人特质、人机协同以及社会科学下游应用带来挑战。读者应注意，当前对LLM价值倾向的结论高度依赖具体评估流程，跨研究比较时需关注方法差异。
Q&A
大型语言模型（LLMs）在决策和偏见方面与人类的表现有何相似之处？
研究发现，ChatGPT在启发式方法、偏见和决策效应方面表现出与人类相似的行为。
人类分析师与大型语言模型在分类和推理能力上有什么显著差异？
人类分析师与LLMs在分类和推理能力上存在显著差异，但二者合作可能产生协同效应。
什么是Contrastive Unlikelihood Training (CUT)框架？
CUT是一种新的对齐框架，通过细致判定检测和修正来改进不适当内容，获得优于基线模型的效果。
如何评估大型语言模型中的偏好？
偏好评估可以被操控，模型与评委的偏好一致性提高评分，而注入不喜欢的属性则降低评分。
ValueLex框架的核心价值维度是什么？
ValueLex框架识别出能力、品格和诚信三个核心价值维度。
大型语言模型在预测人类行为方面的表现如何？
LLMs在人类行为预测方面存在类人特性，但不能准确捕获人类数据的细节。
