口语立体集：在语音中评估对说话者的社会偏见
内容提要
该论文介绍了评估语言模型中社会偏见的多个数据集和方法，如StereoSet和CrowS-Pairs。研究发现，现有模型普遍存在性别、职业、种族和宗教等偏见，并提出了新的评估指标KLDivS和JSDivS，显示出更好的稳定性和可解释性。此外，研究还探讨了多模态语言模型中的社会偏见及其缓解策略，强调多样化提示的重要性。
延伸解读
评估方法的演进与创新
文章梳理了社会偏见评估方法的发展脉络：从StereoSet和CrowS-Pairs等基于刻板印象句对的数据集，到2023年提出的KLDivS和JSDivS度量。后者利用高斯分布建模伪对数似然得分，通过KL散度和JS散度量化刻板化与反刻板化得分的分布差异。实验表明，新度量在StereoSet和CrowS-Pairs上比传统方法更稳定、可解释，为偏见评估提供了更鲁棒的工具。
提示敏感性与评估可靠性
研究发现大型语言模型对提示变化高度敏感，可能导致任务表现和社会偏见评估结果的波动，甚至影响模型排名。这种敏感性部分源于高级模型的示例模糊性。因此，在比较不同模型的社会偏见时，使用多样化的提示至关重要，否则单一提示下的评估可能无法反映模型的真实偏见水平，削弱结论的可靠性。
多模态与口语模型的偏见挑战
文章将偏见评估扩展到多模态和口语领域。针对多模态大语言模型，研究提出反事实数据集CMSC和去偏见策略ASD，通过改进训练过程和数据采样，在保持模型性能的同时显著降低社会偏见。对于语音集成大语言模型，口语偏见评估工具包揭示了不同评估方法之间的语言相关性差异，强调需采用多种方法全面评估，以推动更公平的系统开发。
社会感知的多维视角
社会偏见源于对人口统计学特征目标的社会感知积累。为全面理解偏见，研究提出量化社会感知的新策略，并构建汇集多样化社会感知的度量标准。实验表明，该度量能捕捉社会偏见的多维方面，实现对偏见的细致调查。这提示我们，单一维度的评估可能遗漏偏见的重要表现，多元视角下的社会感知分析更为全面。
Q&A
StereoSet是什么，它的用途是什么？
StereoSet是一个用于评估语言模型中性别、职业、种族和宗教偏见的大规模自然数据集。
研究中提到的KLDivS和JSDivS有什么特点？
KLDivS和JSDivS是新的评估社会偏见的度量方法，实验表明它们比以往方法更稳定和可解释。
CrowS-Pairs在研究中扮演什么角色？
CrowS-Pairs是另一种基准测试数据，用于评估语言模型在社会偏见方面的表现，结果显示所有模型均存在偏见。
研究中如何探讨多模态语言模型中的社会偏见？
研究探讨了多模态语言模型中的社会偏见及其缓解策略，强调了多样化提示的重要性。
大型语言模型对提示变化的敏感性有什么影响？
大型语言模型对提示变化敏感，可能导致任务表现和社会偏见的波动，因此建议使用多样化提示进行比较。
研究提出了哪些缓解社会偏见的策略？
研究提出了去偏见策略和改进训练过程的方法，实验结果显示有效降低偏见。
