隐性偏见：社会观点不一致对隐性和显性意见的影响程度
内容提要
本文探讨了大型语言模型（LLMs）中的社会偏见，提出了一种基于相对偏见分析的新模型。研究显示，LLMs在性别、社会阶级和性取向等方面存在显著偏见，并且不同模型在政治立场分类任务中的表现存在差异。通过心理学理论，分析了显性与隐性偏见的机制，并提出了量化社会偏见的新策略，以深入理解其影响。
延伸解读
从绝对到相对：偏见评估的范式转变
文章指出，传统自然语言处理常以绝对分类目标衡量偏见，但作者提出基于相对偏见分析的模型，并通过众包实验证明，在较弱人工干预下即可感知文本间的相对偏见差异。这提示我们，偏见并非固定标签，而是随语境和比较基准变化，评估时应更关注相对差异而非绝对判定。
显性与隐性偏见：LLMs中的双重认知结构
研究借鉴心理学中显性社会偏见与隐性社会偏见的区分，在LLMs中发现了类似的“重新判断不一致”现象。对ChatGPT和GPT-4的性别偏见实验证实了这种不一致的高度稳定性。这意味着，模型可能同时存在可被直接询问出的显性态度和隐含在决策中的隐性倾向，仅靠单一测试难以全面捕捉。
偏见的多维性与评估挑战
文章强调，社会偏见由多种人口统计学特征的社会感知累积塑造，需考虑多元身份视角。作者提出量化社会感知的新策略和汇集多样化评估的度量标准，实验表明该标准能捕捉偏见的多维方面。这提醒我们，偏见评估应避免模板化探测的误导，需综合不同视角和指标。
偏见传播与攻击：安全风险的新视角
文章通过基于特征的分析揭示了LLMs内部偏见的复杂传播，并指出定制去偏方法的必要性。此外，利用伪装、欺骗和教授等指令攻击可有效诱发模型偏见，其中欺骗攻击尤为有效，且GLM-3在防御上表现最佳。这表明，偏见不仅是静态属性，还可被恶意引导，评估时需考虑对抗性场景。
Q&A
大型语言模型中存在哪些类型的社会偏见？
大型语言模型中存在性别认同、社会阶级和性取向等方面的显著偏见。
如何量化大型语言模型中的社会偏见？
通过心理学启发的测量方法和相对偏见分析模型，可以量化大型语言模型中的社会偏见。
显性偏见和隐性偏见有什么区别？
显性偏见是明显可见的态度，而隐性偏见则是潜在的、难以察觉的态度，二者在大型语言模型中都有体现。
大型语言模型在政治立场分类任务中的表现如何？
大型语言模型在政治立场分类任务中表现出显著的性能差异，尤其在目标陈述模糊时表现较差。
如何评估大型语言模型的潜在偏见？
可以通过设计特定的攻击方法和评估数据集来评估大型语言模型的潜在偏见。
社会偏见如何影响大型语言模型的性能？
社会偏见会导致模型在特定任务中的表现不一致，影响其决策和输出的准确性。
