多模态人工智能中的公平性与偏见：一项调研
内容提要
大语言模型在实际应用中表现优异，但可能传播社会偏见。本文回顾相关研究，探讨模型中的内外部偏见及其评估和去偏方法，强调公平性的重要性及未来挑战。研究指出，需要进一步标准化公平性度量，以确保机器学习模型的公正性。
延伸解读
偏见评估的标准化挑战
文章指出，当前机器学习模型中的偏见检测与减轻方法虽多，但度量标准各异，缺乏统一规范。系统文献综述发现40篇相关文章，定义了多种度量标准，但建议进一步研究以确定每种情况下应采用的技术和指标，从而标准化并确保模型公正性。这反映了公平性评估在实践中的碎片化问题，标准化是未来关键方向。
多模态系统中的偏见特点
研究发现多模态情感识别系统存在系统性偏见，其中文本模态的偏见最小且表现最佳，这引发了对多模态方法在实现公平性方面价值的质疑。此外，多模态大语言模型往往过度依赖单模态偏见，导致复杂任务错误。文章提出因果框架和MORE数据集，旨在通过多跳推理克服单模态偏见，为多模态公平性研究提供了新思路。
个性化与公平评估的缺失
现有公平评估框架在处理语言生成模型时，往往忽视个性化因素，从而间接延续了不公平做法。文章强调需要对个性化有更细致的认识，以促进人工智能社区的公平发展。这意味着公平性评估不能一刀切，而应考虑不同用户群体的特定需求和背景，否则可能无法真正实现包容性。
公平性规定与定义的一致性
文章引入了一个框架，概述与各种公平性定义相一致的公平性规定，每个定义由不同程度的抽象调控。通过将公平规则纳入流程，并使用RAG选择上下文演示，探索了上下文学习的配置。实验发现GPT-4在准确性和公平性方面优于其他模型。这表明公平性规定需与多种定义对齐，才能确保负责任的人工智能部署。
Q&A
大语言模型中存在什么类型的偏见？
大语言模型中的偏见分为内在偏见和外在偏见。
如何评估大语言模型的公平性？
评估大语言模型的公平性需要标准化公平性度量，并使用不同的评估指标和去偏方法。
多模态情感识别系统存在哪些问题？
多模态情感识别系统存在系统性偏见，文本偏见表现相对较好。
未来在公平性研究中面临哪些挑战？
未来的挑战包括进一步标准化公平性度量和加强对个性化的认识。
如何提高模型决策的透明性？
可以通过探索新的方法来检测模型中的潜在偏见，提高模型决策的透明性。
公平性规定应如何与定义相一致？
公平性规定应与各种公平性定义相一致，以确保包容性和负责任的人工智能部署。
