横跨印度语言的文本图像生成偏见导航
内容提要
本文探讨了文本到图像生成模型中的文化偏见，并提出通过反事实推理量化偏见的方法。研究了印度社会偏见的IndiBias数据集，评估了多种语言模型的表现，发现大多数模型在交叉群体中存在偏见。此外，介绍了IndicGenBench基准，强调了印度语言的机器翻译和神经信息检索资源的开发，以促进语言多样性和模型的包容性。
延伸解读
偏见量化方法的核心思路
文章提出通过反事实推理来研究和量化文本到图像生成模型的偏见，并以语义概念形式扩展定量评分。这种方法不局限于特定模型或提示，具有通用性，为系统评估生成模型中的文化偏见提供了可操作框架。
IndiBias数据集的构建与发现
IndiBias数据集包含800个句子，提供英语和印地语版本，专门评估印度社会偏见。通过比较十种语言模型，研究发现大多数模型在交叉群体中表现出更多偏见，表明偏见问题在多个维度上交织，需要更细致的评估指标。
IndicGenBench与多语言性能差距
IndicGenBench覆盖13种脚本、29种印度语言，是迄今最大的印度语言基准之一。评估显示，尽管PaLM-2在多数任务中表现最佳，但所有语言与英语相比仍存在显著性能差距，凸显开发更具包容性多语言模型的紧迫性。
神经信息检索资源的进展
针对11种印度语言，研究构建了INDIC-MARCO数据集和Indic-ColBERT模型集合。实验表明，Indic-ColBERT在多数语言上显著优于基线，MRR@10平均提升47.47%，为印度语言神经信息检索研究提供了重要资源。
Q&A
IndiBias数据集的主要用途是什么？
IndiBias数据集用于评估印度社会偏见，包含800个句子，提供英语和印地语版本。
如何量化文本到图像生成模型中的偏见？
通过反事实推理的方法，可以研究和量化文本到图像生成模型的偏见。
IndicGenBench基准的特点是什么？
IndicGenBench基准覆盖13种脚本和29种印度语言，旨在评估多种大型语言模型的表现。
该研究如何促进印度语言的机器翻译？
研究旨在创建支持所有22种印度语言的机器翻译模型，以促进语言多样性。
在多语言文本到图像生成模型中存在哪些偏见？
大多数语言模型在交叉群体中表现出更多偏见，尤其是在社会偏见方面。
IndicIRSuite的目的是什么？
IndicIRSuite旨在为大量印度语言构建大规模神经信息检索资源，以加速相关研究。
