BiasKG: 用对抗知识图谱在大型语言模型中引入偏见
内容提要
本文探讨了知识图谱注入方法对大型语言模型的影响，发现模型能够有效处理混乱的知识图谱，超越传统文本提示。同时，讨论了知识图谱中的社会偏见及其缓解技术，提出了去偏见框架和评估方法，以提高模型的公正性和安全性。
延伸解读
反直觉发现：LLM 更擅长处理混乱知识图谱
文章通过复杂问题回答任务对比不同知识图谱注入方法，发现大型语言模型能有效处理混乱、噪音和线性化的知识图谱，且表现优于设计良好的自然语言文本提示。这一结果挑战了传统认知，提示未来研究应重新审视结构化知识在 LLM 中的表示方式，而非简单追求整洁的文本转换。
知识图谱偏见与节点流行度的负相关
文章指出知识图谱中的社会偏见与文化偏见存在一个关键模式：节点流行度与链接预测精度之间呈负相关。这意味着流行度低的节点预测精度反而更高，可能加剧对少数群体的偏见。理解这一关系有助于在设计去偏见方法时，优先关注流行度高的节点所携带的敏感属性。
去偏见技术：从 FAN 到 Fair-KGNN
为消除知识图谱中的敏感属性信息，文章介绍了过滤对抗网络（FAN），通过对抗训练过滤性别等敏感信息。同时，Fair-KGNN 框架能同时减轻个体偏见和关系偏见，兼顾公平性与预测性能。这些方法表明，去偏见需在表示学习层面干预，而非仅依赖后处理。
评估与安全：GPTBIAS 及数据污染风险
文章提出 GPTBIAS 偏见评估框架，可提供偏见分数、类型、受影响人群及改进建议，验证了其有效性。此外，知识图谱嵌入模型易受数据污染攻击，存在安全漏洞。这提醒实践者：在利用知识图谱增强 LLM 时，需同步关注偏见评估与对抗攻击防御，确保系统公正可靠。
Q&A
大型语言模型如何处理知识图谱中的噪音和混乱信息？
大型语言模型能够有效处理混乱、噪音和线性化的知识图谱，表现优于传统的自然语言文本提示方法。
知识图谱中的社会偏见是如何产生的？
知识图谱中的社会偏见与节点流行度和链接预测精度之间存在负相关关系。
什么是过滤对抗网络（FAN），它的作用是什么？
过滤对抗网络（FAN）旨在消除知识图谱中的敏感属性信息，以实现去偏见的目标。
GPTBIAS框架的主要功能是什么？
GPTBIAS框架用于评估模型的偏见，提供偏见分数和改进建议，证明了其有效性和可用性。
Fair-KGNN框架如何实现公平性和预测性能？
Fair-KGNN框架通过减轻知识图谱中个体偏见和关系偏见的影响，实现表示学习的公平性和预测性能。
如何提高大型语言模型的公正性？
通过提出新的测试和度量方式，减少社会构建的刻板印象带来的负面影响，可以提高大型语言模型的公正性。
