大型语言模型作为标注者的偏见：政党提示对标注决策的影响
原文中文，约400字，阅读约需1分钟。发表于：。本文研究了大型语言模型（LLM）作为标注者时存在的偏见，特别是政党提示对标注决策的影响。通过重复2018年的实验，研究发现LLM在评判政治陈述时不仅运用政党信息，还反映出其训练数据的偏见，且LLM即使在面对中间偏左和偏右的政党陈述时也显示出明显偏见。这一发现表明LLM的标注决策存在系统性问题，对使用LLM进行政治内容分析的影响深远。
大型语言模型可能存在社会人口统计学偏见。研究者使用逻辑Bradley-Terry探测器来预测LLMs中的单词对偏好，并发现存在大量偏见。研究结果表明，微调可能无法削弱上下文嵌入的偏见。
