大型语言模型作为标注者的偏见：政党提示对标注决策的影响
内容提要
本研究探讨了大型语言模型（LLMs）中的社会和政治偏见，发现这些模型在处理政治性任务时存在显著偏见，尤其在情感和道德细微差别方面。研究提出了减轻偏见的方法，并强调了对LLMs进行严格评估的重要性，以确保其在社会应用中的公平性。
延伸解读
偏见的多维度表现
文章从多个维度揭示了大型语言模型中的政治偏见。在情感和道德基础上，模型能捕捉细微差别，但在立场检测上存在挑战。社会人口统计学偏见方面，模型在国籍、政治、宗教和性别上均表现出大量偏见，例如Mistral模型暗示欧洲优于非洲、基督教优于犹太教、左翼优于右翼。这些偏见不仅影响公平性，还可能通过下游任务传播。
模型规模与政治倾向
研究发现模型规模与其政治倾向相关。较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立。在德国多党制背景下，所有被评估的LLM均表现出左绿倾向。这表明模型的政治立场可能受训练数据和规模影响，且输出可个性化调整，而非简单迎合。
偏见缓解与评估挑战
文章探讨了减轻偏见的方法，如标签反转可显著减少表格预测任务中的社会偏见。然而，指示微调不一定能削弱上下文嵌入中的偏见。评估LLM政治偏见需综合考虑内容与风格，并关注立场检测的模糊性。这强调了对LLM进行严格评估的必要性，以确保其在高风险社会应用中的公平性。
Q&A
大型语言模型中存在什么样的社会和政治偏见？
大型语言模型在处理政治性任务时表现出显著的偏见，尤其在情感和道德细微差别方面，且通常倾向于左翼观点。
如何减轻大型语言模型中的偏见？
可以通过标签反转等方法显著减少大型语言模型中的社会偏见。
大型语言模型在立场分类任务中表现如何？
在立场分类任务中，大型语言模型表现出显著的性能差异，尤其在目标陈述模糊时表现较差。
研究中如何评估大型语言模型的政治偏见？
研究提出了一种可解释的度量方法，通过分析模型生成的政治内容和风格来衡量政治偏见。
大型语言模型的偏见对社会应用有什么影响？
大型语言模型的偏见可能加剧原始数据中的偏见，影响其在社会应用中的公平性。
较大的语言模型与较小的模型在政治倾向上有什么区别？
较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立。
