从偏见到平衡：检测大型多模态基础模型中的面部表情识别偏见
内容提要
本文研究了深度人脸识别中的种族偏见，构建了RFW数据集，验证了多种算法的偏差，并提出了IMAN解决方案以缓解偏见。研究表明，IMAN在不同种族和数据库中具有良好的泛化能力。同时，分析了面部表情识别中的标签偏差和多模态情感识别系统的偏见，强调了分析和缓解不同类型偏见的重要性。
延伸解读
种族偏见缓解的泛化能力
文章提出的IMAN方法通过深度无监督领域自适应，将高加索作为源领域，其他种族作为目标领域，在全局和聚类级别调整以减少种族差距。在RFW、GBU和IJB-A数据库上的实验表明，IMAN学习到的特征能跨不同种族和数据库良好泛化，这提示偏见缓解方案需具备跨域适应性，而非仅针对单一数据集优化。
标签偏差与AU校准框架
针对面部表情识别中的标签偏差，文章提出AUC-FER框架，利用面部动作单元和三元损失进行校准。实验证明该方法比现有技术更有效，说明引入辅助信息（如动作单元）可缓解主观标签带来的偏差，为设计更公平的FER模型提供了思路。
多模态情感识别中的系统性偏见
研究发现多模态情感识别系统存在系统性偏见，其中文本模态的偏见最小且表现最好。这引发了对多模态方法在实现公平性方面价值的质疑，提示研究者和开发者需审慎评估多模态融合是否真的能减轻偏见，而非简单叠加各模态的偏差。
种族平衡的局限性
一项模拟研究表明，在较小数据集中，伪造面孔接近种族平衡可提升公平性和性能指标（F1平均增加27.2个百分点，人口统计学平等平均增加15.7个百分点），但在较大数据集中，公平性指标通常保持不变。这表明仅靠种族平衡无法实现不同种族群体间测试性能的平等，需结合其他偏见缓解策略。
Q&A
什么是RFW数据集，它的目的是什么？
RFW数据集是为研究深度人脸识别中的种族偏见而构建的，旨在验证不同算法的种族偏差。
IMAN解决方案是如何缓解面部表情识别中的种族偏见的？
IMAN通过深度无监督领域自适应，将高加索作为源领域，其他种族作为目标领域，调整以减少种族差距。
多模态情感识别系统中存在哪些偏见？
多模态情感识别系统存在系统性偏见，其中文本模态的偏见最小，表现最好。
面部表情识别中的标签偏差是如何影响结果的？
标签偏差会导致面部表情识别的效果不均衡，影响模型的准确性和公平性。
研究发现种族平衡在测试性能上有什么局限性？
研究表明，种族平衡无法在不同种族群体之间实现测试性能的平等，尤其在较大数据集中。
如何评估面部表情识别中的偏见？
可以通过新的度量方法评估面部表情识别中的代表性和刻板印象偏见，以及训练模型的残余偏见。
