口语立体集：在语音中评估对说话者的社会偏见

该论文介绍了StereoSet，一个用于评估语言模型中性别、职业、种族和宗教偏见的大规模自然数据集。

研究评估了BERT、GPT-2、RoBERTa和XLNet等语言模型在StereoSet中的表现，并提供了排行榜以跟踪模型偏见。

CrowS-Pairs是另一种基准测试数据，用于评估语言模型在社会偏见方面的表现，结果显示所有模型均存在偏见。

提出了KLDivS和JSDivS两种新的评估社会偏见的度量方法，实验表明其比以往方法更稳定和可解释。

研究探讨了大型语言模型中的社会偏见及其缓解策略，强调多样化提示的重要性。

分析表明，社会属性如种族和性别显著影响生成内容和刻板印象，需考虑多元视角下的社会感知。

提出了一种量化社会感知的新策略，以评估大型语言模型中的社会偏见，实验结果显示出多维度的偏见捕捉能力。

研究发现大型语言模型对提示变化敏感，可能导致任务表现和社会偏见的波动，建议使用多样化提示进行比较。

开发了口语偏见评估工具包，揭示了不同评估方法之间的语言相关性差异，强调全面评估的必要性。

针对多模态大语言模型中的社会偏见，提出了去偏见策略和改进训练过程的方法，实验结果显示有效降低偏见。