大型语言模型作为标注者的偏见：政党提示对标注决策的影响

本研究测量大型语言模型中的社会和经济偏见，发现先验模型存在政治倾向，可能加剧原始数据中的偏见。

通过实验发现，大型语言模型在表格预测任务中继承社会偏见，影响公平性，但可通过标签反转等方法减少偏见。

以ChatGPT为例，研究探讨了大型语言模型在复杂社会政治环境中的能力，特别是在政治辩论中的决策过程和内在偏见。

研究提出了一个综合分析框架，评估模型在立场、情绪和道德基础等方面与现实政治意识形态的一致性。

发现模型在捕捉情绪和道德细微差别方面有效，但在立场检测方面存在挑战，突显了NLP工具在政治敏感环境中的复杂性。

通过逻辑Bradley-Terry探测器，研究了大型语言模型中的社会人口统计学偏见，发现存在大量偏见，尤其在国籍、政治、宗教和性别方面。

分析表明，大型语言模型在生成政治性内容时，往往表现出左倾观点，提供了关于政治偏好的初步证据。

研究提出了一种可解释的度量方法来衡量LLMs生成的政治偏见，关注不同政治问题的内容和风格。

评估发现，较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立，强调了对LLMs进行严格评估的重要性。

研究开发了基于投票建议应用程序的基准数据集，发现所有被评估的LLMs表现出左绿倾向，显示LLMs输出可个性化调整。