QueerBench：度量语言模型对酷儿身份的歧视
内容提要
本文分析社交媒体内容审查对性别多元化言语的偏见，探讨大型语言模型（LLMs）在处理LGBTQ+相关文本时的表现。研究发现，LLMs存在反同性恋偏见，但通过微调模型可减轻这种偏见。此外，提出了一种新方法LDFighter，以减少语言歧视，确保不同语言用户获得一致服务。
延伸解读
偏见缓解的关键：微调数据来源
文章指出，通过微调可以减轻语言模型的反同性恋偏见，但效果取决于数据来源。使用LGBTQ+社区成员编写的社交媒体文本进行微调，比使用非成员编写的新闻文本更有效。这提示实践者，在缓解偏见时，应优先考虑边缘化社区自身产出的语料，而非外部观察者的描述，因为前者更能反映真实的语言使用和身份表达。
多语言服务中的语言歧视风险
研究显示，由于训练数据不均衡，LLMs对不同语言查询的响应存在显著差异。例如，对英语、法语等语言的查询，模型的人类对齐能力更强，有害查询越狱成功率平均为1.04%；而对孟加拉语、格鲁吉亚语等语言的查询，对齐能力较弱。这可能导致不同语言用户获得不一致的服务质量，甚至面临更高的安全风险。
LDFighter：缓解语言歧视的新思路
针对语言歧视问题，文章提出了基于相似度投票机制的LDFighter方法。该方法旨在确保不同语言使用者获得一致的服务。评估结果显示，LDFighter不仅能显著降低有害查询成功越狱的概率，还能平均改善响应质量。这为多语言场景下提升LLMs的公平性和安全性提供了一种可行的技术路径。
模型偏见的双重性：反映与放大
文章提到，LLMs不仅反映社会偏见，还可能放大这些偏见，尤其是在性别、性取向和西方文化方面。尽管模型对涉及受保护群体的问题可能过于谨慎，强调多样性和公平，但这种人为限制本身也可能造成伤害。因此，在应用LLMs时，需要谨慎平衡偏见缓解与过度审查之间的关系。
Q&A
大型语言模型在处理LGBTQ+文本时存在哪些偏见？
大型语言模型在处理LGBTQ+相关文本时表现出明显的反同性恋偏见。
如何减轻大型语言模型中的反同性恋偏见？
通过对模型进行微调，使用LGBTQ+成员撰写的自然语言语料库，可以减轻反同性恋偏见。
什么是WinoQueer数据集，它的作用是什么？
WinoQueer是一个基准数据集，用于衡量大型语言模型对LGBTQ+社区的偏见。
LDFighter方法是如何工作的？
LDFighter通过相似度投票机制来减轻语言歧视，确保不同语言用户获得一致服务。
社交媒体文本与新闻文本在偏见缓解方面有什么不同？
社交媒体文本比非成员编写的新闻文本更有效地缓解偏见。
大型语言模型在多语言支持方面的表现如何？
大型语言模型通常具有良好的多语言支持，但由于训练数据不均衡，可能导致语言歧视。
