评估计算机视觉模型的社会技术视角：基于性别和情绪检测与推理的案例研究
内容提要
本文探讨了人脸图像合成方法及其在商业计算机视觉中的公平性，研究了性别偏见对面部表情识别的影响，并提出了缓解方案。分析显示某些神经网络模型存在显著性别偏见，影响情感识别的准确性。使用大规模数据集和生成式方法可改善模型的公平性和性能。
延伸解读
偏见来源的多维度分析
文章指出，计算机视觉中的性别偏见并非单一因素导致。研究从训练数据、模型架构和训练目标等多个角度调查了视觉转换器（ViT）中的社会偏见。结果显示，即使在同一数据集上使用不同的自监督目标训练，模型也可能表现出相反的偏见。这表明偏见来源复杂，需要系统性地审视模型设计选择，而非仅关注数据层面。
缓解偏见的有效性与局限
文章探讨了多种缓解偏见的方法，如基于反事实增强训练的扩散式图像编辑、生成式视图和结构化学习等。这些方法可以缓解偏见，但并不能完全消除。同时，研究发现大模型相比小模型偏见较少，使用辨别目标训练的模型比生成目标训练的模型偏见更少。这提示在追求公平性时，需权衡模型规模与训练目标。
数据集偏见的隐蔽影响
文章强调，全球统计上的偏见并不一定对所有人群有利，需要对歧视性偏见进行深入分析。现有视觉情感基准测试中存在长期被忽视的数据集偏见问题，这可能导致模型在特定人群上性能下降。例如，在面部表情识别中，更具偏见性的神经网络在男性和女性测试集之间的准确度差距更大，说明偏见会直接影响模型的实用性。
提升泛化能力的实践路径
针对数据集偏见问题，文章提出了基于Webly监督方法的解决方案，通过利用大量库存图像数据进行训练。研究发现，使用大规模图像数据集学习的模型表现出明显更好的泛化能力，其视觉表示在不同图像和视频数据集上具有很大潜力。这为改善视觉情感识别等任务的公平性和性能提供了可行方向。
Q&A
什么是反事实公平性在计算机视觉中的应用？
反事实公平性用于评估商业计算机视觉分类器的公平性，确保模型在不同性别和情感识别中表现一致。
研究中发现的性别偏见对情感识别有什么影响？
性别偏见导致某些神经网络在男性和女性测试集之间的情感识别准确度差距更大，影响模型的整体性能。
如何缓解计算机视觉模型中的性别偏见？
可以通过基于反事实增强训练的扩散式图像编辑和Webly监督方法来缓解性别偏见，但无法完全消除。
使用大规模数据集对模型公平性有什么好处？
使用大规模数据集可以显著提高模型的泛化能力，减少性别偏见的影响，提升情感识别的准确性。
研究中提到的不同输入输出模态下的偏见是如何评估的？
通过构建统一的框架，研究者评估了大规模视觉语言模型在不同输入输出模态下的性别职业偏见程度和方向。
面部表情识别中的人口统计偏见问题是什么？
人口统计偏见指的是在面部表情识别中，模型对不同人群的情感识别准确性存在差异，需深入分析和处理。
