在显式无偏的大型语言模型中测量隐性偏见
内容提要
本文综述大型语言模型中的社会偏见研究，发现模型存在显性与隐性偏见，类似人类“重新判断不一致”。研究采用提示、条件文本生成等方法评估性别、职业、种族等偏见，并提出GPTBIAS、LLMBI等框架量化偏见。结果表明，模型规模增大未必提升公平性，需持续监测与校准。
延伸解读
显性与隐性偏见：LLM中的双重认知结构
文章指出，大型语言模型存在类似人类的两级认知结构：显性社会偏见和隐性社会偏见。实验发现，ChatGPT和GPT-4在性别偏见上表现出“重新判断不一致”，即模型在明确判断时可能隐藏偏见，但在间接任务中暴露。这种结构稳定性提示，仅靠表面校准可能无法消除深层偏见，需从认知机制层面理解模型行为。
评估方法演进：从提示到条件生成
为测量偏见，研究采用了多种方法：基于提示的评估、条件文本生成机制，以及GPTBIAS、LLMBI等量化框架。条件生成无需预定义性别短语，能同时检测显性和隐性偏见；LLMBI则通过多维度复合评分提供可比较的指标。这些工具帮助研究者和实践者更系统地监测偏见，但需注意其依赖的预定义假设和数据集局限性。
模型规模与公平性：并非正相关
文章强调，模型规模的增加并不一定提高公平性。所有测试的LLM都表现出显性和/或隐性性别偏见，即使输入中没有显性刻板印象。这意味着，单纯扩大模型参数或数据量未必能消除偏见，反而可能因能力增强而出现更复杂的认知结构。因此，持续监测和校准是必要的，不能依赖规模增长自动解决公平性问题。
实际影响：从职业推荐到边缘群体
偏见在具体应用中可能造成实际伤害。例如，工作推荐中，LLM可能将墨西哥工人导向低薪工作，将女性导向秘书角色。这类人口统计偏见会加剧社会不平等，影响边缘化个体和社区。文章提醒，在部署LLM时需谨慎测试，确保对待所有群体公平，并量化偏见以了解潜在危害。
Q&A
大型语言模型中的显性偏见和隐性偏见分别指什么？
显性社会偏见是模型直接表达出的偏见，如明确的性别刻板印象；隐性社会偏见是模型未直接表达但隐含在行为中的偏见，类似于人类心理学中的两级认知结构。
什么是大型语言模型中的“重新判断不一致”？
“重新判断不一致”是指大型语言模型在显性社会偏见和隐性社会偏见之间表现出的不一致现象，类似于人类认知中的两级结构。实验调查ChatGPT和GPT-4关于性别偏见，证实了这种不一致的高度稳定性。
有哪些框架或方法用于评估大型语言模型的社会偏见？
文章提到了多种评估框架和方法，包括GPTBIAS（利用LLMs评估偏见并提供偏见分数、类型、受影响人群等）、LLMBI（大型语言模型偏差指数，通过多维度复合评分系统量化偏见）、条件文本生成机制（无需预定义性别短语检测显性和隐性性别偏见），以及基于提示的方法和Instruction Prompting干预。
模型规模增大会减少社会偏见吗？
不一定。实验证明，模型规模的增加并不一定会提高公平性，所有测试的大型语言模型都表现出显性和/或隐性性别偏见，即使输入中没有显性性别刻板印象。
大型语言模型在职业推荐中表现出哪些人口统计偏见？
研究发现LLMs存在与不同人口统计身份相关的偏见，例如墨西哥工人普遍倾向于低薪工作，女性倾向于秘书角色。这突出了在后续应用中量化LLMs偏见的重要性，以了解可能造成的伤害和不公平结果。
如何缓解大型语言模型中的社会偏见？
文章提到了一种称为Instruction Prompting的简单干预方法，能够显著减少社会偏见。此外，持续监测和校准模型以与不断发展的社会规范和道德标准保持一致也是必要的。
