评估 AI 群体公平性：模糊逻辑视角
内容提要
本文探讨了机器学习中的公平性问题，提出了三种公平模型，并介绍了因果贝叶斯网络和最优输运理论的应用。研究了自动化决策系统的公平性评估，提出了新的公平测试和度量方法，强调了算法偏见与公平、隐私和准确性之间的关系，同时讨论了生成式人工智能的公平性概念及其监测工具。
延伸解读
公平性定义的多样性及其挑战
文章指出机器学习公平性存在三种模型：无意识公平、人口统计学公平和反事实公平，并在认识情境演算中形式化。这些定义视角不同，甚至可能不兼容，导致评估标准混乱。读者需注意，选择哪种公平定义取决于具体场景和价值观，没有普适答案。
评估工具与案例研究
针对公平度量不兼容的问题，文章提出了等混乱公平测试和混淆平等误差，用于检查自动化决策系统的公平性并量化不公平程度。通过对COMPAS系统的案例研究，展示了这些工具的实际效用。这为从业者提供了可操作的事后分析手段。
公平与准确性、隐私的权衡
文章分析了机器学习算法偏差与公平、隐私、分类准确性之间的关系，并综述了公平-准确性权衡的处理方法。实验表明，在现实场景中公平与准确度存在张力。读者应意识到，提升公平性可能牺牲部分准确性，需根据应用目标平衡。
生成式AI公平性的新维度
针对生成式AI，文章定义了输出层面和模型固有层面的公平性，并引入相对交叉公平性和懒惰公平性强制来应对多类别组合爆炸。监测工具在测试多个模型时显示出有趣结果。这提示我们，传统群体公平性指标在LLM时代可能不足，需专门工具。
Q&A
机器学习中的公平性问题主要包括哪些模型？
主要包括无意识公平、人口统计学公平和反事实公平三种模型。
如何评估自动化决策系统的公平性？
可以通过新的等混乱公平测试和混淆平等误差来量化不公平性。
算法偏见与公平性之间有什么关系？
算法偏见与公平性、隐私和分类准确性之间存在复杂的权衡关系。
生成式人工智能的公平性概念是什么？
生成式人工智能的公平性包括对生成序列的公平性和模型固有公平性两个层面。
如何处理机器学习中的公平性与准确性权衡？
可以通过实验分析公平度量和准确度在现实场景中的关系来处理这一权衡。
有哪些方法可以识别和减轻人工智能项目中的不公平偏见？
可以采用基于上下文和社会中心的方法，通过自我评估和风险管理来识别和减轻偏见。
