通过激活转向技术研究 Llama 2 Chat 中的偏见表达
内容提要
大型语言模型存在性别、种族、宗教、政治等社会偏见，即使拒绝回答也会在潜在表示中隐含偏好。研究提出自动生成测试用例、逻辑探测器和缓解方法，以检测并减少偏见，实现更公正的回复。
延伸解读
偏见检测的新方法：逻辑Bradley-Terry探测器
文章提出了一种逻辑Bradley-Terry探测器，通过分析单词的隐藏向量来预测LLMs中的单词对偏好。该方法在三个偏好配对任务和十三个LLMs上验证，错误率比WEAT降低了27%，表明其能更有效地检测隐性偏见。此外，研究发现单词对偏好在中间层中最有效，这为理解偏见在模型中的编码位置提供了线索。
偏见转移：从无害任务到有争议任务
研究将训练在无害任务（如选择更大的数字）上的探测器转移到有争议的任务（比较民族、政治、宗教和性别），以检查偏见。结果显示，所有目标类别都存在大量偏见，例如Mistral模型暗示欧洲优于非洲、基督教优于犹太教、左翼优于右翼政治，即使模型拒绝回答。这表明指示微调不一定能削弱上下文嵌入中的偏见。
偏见缓解与公平性挑战
文章提到通过自动生成测试用例和缓解方法可以减少偏见，实现更公正的回复。但同时也指出，大型语言模型在性别刻板印象、职业偏见等方面仍存在偏见，且可能产生事实错误。因此，需要谨慎测试以确保模型对待边缘化个体和社区公平。这强调了持续评估和干预的重要性。
Q&A
大型语言模型即使拒绝回答，是否仍然存在社会偏见？
是的。研究发现，即使模型拒绝回答，其潜在表示中仍隐含偏好，例如Mistral模型暗示欧洲优于非洲、基督教优于犹太教、左翼优于右翼政治。
如何检测大型语言模型中的隐性偏见？
研究提出了一种逻辑Bradley-Terry探测器，从单词的隐藏向量预测LLMs中的单词对偏好。在三个偏好配对任务和十三个LLMs上验证，错误率比WEAT提高了27%。
大型语言模型中的偏见在哪个网络层最明显？
研究发现单词对偏好在中间层中最有效。
指示微调能否消除大型语言模型中的偏见？
不能。研究表明，指示微调不一定能够削弱上下文嵌入的偏见。
大型语言模型在哪些方面表现出偏见？
大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见，更倾向于选择与性别刻板印象相关的职业，并且在提供解释时常常存在事实错误。
如何减少大型语言模型在文本生成中的偏见？
研究提出了多项定义和新的测试与度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。
