群体地位对 LLM 生成文本中群体表现的可变性的影响
内容提要
多项研究表明，大型语言模型存在人口统计偏见：职业推荐易受刻板印象影响（如墨西哥裔对应低薪岗位、女性对应秘书角色），对性别、种族、年龄、外貌及性少数群体均有偏见，预测结果更接近白人和女性标签。仅靠人口统计提示难以消除偏见。研究提出刻板印象分类器、SHAP启发式方法及指令提示等干预手段，可减少偏见并提升多样性。
延伸解读
偏见的多维表现与测量挑战
文章汇总的多项研究表明，LLM的偏见并非单一维度，而是渗透在职业推荐、情感判断、文化价值观等多个层面。例如，模型在职业推荐中倾向于将墨西哥裔与低薪工作、女性与秘书角色关联；在主观性任务中，预测更接近白人和女性标签；在文化自我认知上，则更贴近英语国家和经济竞争力强的国家的价值观。这些发现说明，仅靠单一指标难以全面刻画偏见，需要结合多数据集、多任务进行交叉验证。
人口统计提示的局限与干预思路
文章指出，仅仅在提示中加入目标人口统计标签，不仅难以消除偏见，反而可能削弱模型性能。这提示我们，简单的“提示工程”并非万能解药。相比之下，研究提出的刻板印象分类器、SHAP启发式方法以及指令提示等干预手段，在减少偏见和提升多样性方面显示出一定效果。这些方法的价值在于提供了可审计、可量化的评估框架，而非依赖模型自我修正。
偏见缓解的实践意义与风险
文章强调，量化LLM偏见对于理解其可能造成的伤害和不公平结果至关重要。通过筛选训练数据、引入指令提示或使用分类器审计，可以在一定程度上减轻偏见，但文章也提醒，模型在解释自身选择时常常存在事实错误，这意味着偏见可能以更隐蔽的方式延续。因此，在将LLM应用于招聘、内容生成等场景时，需要谨慎测试其对边缘化个体和社区的公平性，避免无意中强化偏见。
Q&A
大型语言模型在职业推荐上表现出哪些人口统计偏见？
研究发现，大型语言模型在职业推荐上存在刻板印象，例如墨西哥裔工人常被推荐低薪工作，女性常被推荐秘书角色。
仅靠人口统计提示能消除LLM的偏见吗？
不能。研究表明，仅仅包含目标人口统计标签的提示会削弱模型性能，且难以消除偏见。
有哪些方法可以减轻大型语言模型的社会偏见？
研究提出了多种干预手段，包括刻板印象分类器、基于SHAP分析的启发式方法、指令提示（Instruction Prompting），以及集体批判和自我投票等方法，这些方法能有效减少偏见并提升多样性。
LLM在主观性自然语言处理任务中存在哪些偏见？
利用POPQUORN数据集对四种常见LLM的实验发现，模型的预测更接近白人和女性参与者的标签，表明在主观性任务上存在性别和种族偏见。
大型语言模型的文化自我认知有什么特点？
通过GLOBE项目价值问题激发ChatGPT和Bard的研究显示，这些模型与英语国家和经济竞争力强的国家的价值观最为相似。
如何评估和审计大型语言模型中的刻板印象偏见？
研究介绍了一个多维度刻板印象数据集和新型刻板印象分类器，利用多类别训练模型和可解释AI工具，对GPT系列模型进行评估，观察到刻板印象的减少，为偏见审计建立了实用框架。
