揭示语言模型嵌入中的潜在人类福祉
内容提要
该综述探讨语言模型中的公平与偏见。研究发现GPT-3.5句子嵌入可分为公平与不公平两个子流形，表明模型已形成道德维度；ETHICS数据集用于评估模型道德判断；BERT等模型存在可引导伦理文本生成的“道德方向”；DeepSoftDebias等去偏见方法优于现有技术；德语模型存在概念、种族和性别偏见，可通过正则化减少情感偏见。
延伸解读
嵌入空间中的道德维度
研究发现GPT-3.5的句子嵌入可分解为公平与不公平两个子流形，表明模型在表示空间中形成了道德维度。这提示语言模型不仅学习语言结构，还可能内化了公平性概念，为评估AI伦理对齐提供了新视角。
去偏见技术的进展与局限
DeepSoftDebias等去偏见方法在减少性别、种族和宗教偏见上优于现有技术，但研究也显示公平性变化很少与模型大小相关，且仅关注准确性可能导致公平性差异。因此，实际应用中需综合多种指标，不能依赖单一方法。
多语言偏见与缓解策略
德语模型存在概念、种族和性别偏见，微调可能改变偏见表现。同时，情感偏见可通过正则化方法减少，同时保持困惑度和语义相似性。这表明偏见缓解需针对不同语言和任务定制，并权衡性能与公平。
Q&A
GPT-3.5的句子嵌入中发现了什么与公平性相关的结构？
研究发现GPT-3.5的句子嵌入可以分解为公平和不公平道德判断对应的两个子流形，表明模型在其表示空间中发展了道德维度，并在训练过程中引发了对公平性的理解。
ETHICS数据集是用来做什么的？
ETHICS数据集旨在通过连接社会世界知识和价值判断来评估语言模型对道德基本概念的了解程度。研究发现当前语言模型有望但能力不完整地预测基本人类道德判断，并提供了实现人工智能与人类价值对齐的一步。
大型语言模型中的“道德方向”是什么？如何利用它？
“道德方向”是指BERT、GPT-2/3等大型语言模型在未过滤语料库训练后包含的类似于人类的伦理和道德规范。运用PCA等技术可以减弱甚至消除不当行为，以排除生产有害信息。在RealToxicityPrompts测试中，这个道德方向可以引导模型产生符合伦理要求的文本。
DeepSoftDebias算法有什么作用？
DeepSoftDebias算法使用神经网络执行“软去偏见”，在减少性别、种族和宗教偏见方面优于当前最先进的方法，并在各种SOTA数据集、准确度指标和复杂的NLP任务中进行了全面评估。
德语语言模型存在哪些偏见？微调会如何影响这些偏见？
基于德文语料库的研究发现，预训练的德语语言模型存在实质性的概念、种族和性别偏见，并且在同伴评审数据的微调中，偏见在概念和种族轴上有显著变化。
如何量化和减少语言模型中的情感偏见？
研究采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在新闻文章和维基百科上训练的大规模模型存在相当高的偏见。随后提出使用嵌入和情感预测导出的正则化方法，应用于语言模型的潜在表示，该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。
