哪个人在数学上更优秀，Jenny 还是 Jingzhen？揭示大型语言模型中的刻板印象
内容提要
研究表明，大型语言模型（LLMs）存在性别和种族偏见，尤其在职业建议和教育选择中表现明显。尽管新模型在性别偏见上有所改善，但种族偏见依然存在。引入特定提示方法可减少偏见，研究强调需谨慎测试，以确保对边缘化群体的公平对待。
延伸解读
偏见的多维度表现
文章指出，大型语言模型的偏见不仅限于性别和职业，还涉及种族、性取向和文化。例如，在印度和西方语境下，模型表现出社会偏见；在伦理和公平领域，模型对受保护群体存在偏见，甚至可能放大社会偏见。这些偏见在主观性自然语言处理任务中尤为明显，且仅使用人口统计学提示无法消除。
跨文化差异与模型建议
研究在四种不同文化、语言和教育系统（美国、丹麦、西班牙、印度）背景下调查了性别偏见。结果显示，使用典型男孩和女孩名字提示时，ChatGPT 提供的教育路径中 STEM 和非 STEM 比例存在显著差异，且在丹麦、西班牙和印度背景下 STEM 建议较少。这表明模型的偏见可能因文化背景而异。
缓解偏见的干预方法
文章提到，引入 Instruction Prompting 这种简单的干预方法能够显著减少大型语言模型中的社会偏见。此外，有研究提出了新的评估框架以更稳健地测量和量化偏见，并探索了缓解偏见的提示技术。这些方法为减少模型偏见提供了可能，但需要进一步验证其普适性。
评估与测试的挑战
文章强调，对大型语言模型的偏见行为需要谨慎测试，以确保它们对待边缘化个体和社区是公平的。研究还发现，模型的预测更接近来自白人和女性参与者的标签，且仅使用人口统计学提示可能无法消除偏见。这突出了开发更稳健评估框架的重要性，以准确测量和量化模型偏见。
Q&A
大型语言模型中存在哪些性别和种族偏见？
大型语言模型在性别和种族偏见方面表现明显，尤其在职业建议和教育选择中，倾向于选择与性别相关的职业，且种族偏见在印度和西方语境中尤为突出。
如何减少大型语言模型中的社会偏见？
引入Instruction Prompting方法可以显著减少大型语言模型中的社会偏见，帮助模型更公平地对待边缘化群体。
大型语言模型在STEM领域的职业建议中表现如何？
研究发现，使用典型男孩和女孩名字提示时，chatGPT在STEM领域的职业建议中存在显著差异，尤其在丹麦、西班牙和印度背景下，STEM建议较少。
大型语言模型的偏见对社会有什么影响？
大型语言模型不仅反映了社会偏见，还可能放大这些偏见，影响对性别、性取向和文化的看法，造成潜在的伤害。
新模型在性别偏见方面的表现如何？
尽管新模型在性别偏见上有所改善，但种族偏见依然存在，未能完全消除这些偏见。
如何评估大型语言模型的偏见？
提出新的评估框架以更稳健地测量和量化语言模型的偏见，确保对不同人口群体的公平性。
