超越美学：文本到图像模型中的跨文化能力
内容提要
本文探讨了文本到图像生成模型（T2I）中的文化知觉和社会偏见，提出了跨文化评估标准（C3基准）以提升模型的文化适应性。研究发现模型在生成特定文化对象时存在缺陷，并提出多模态度量以优化数据选择。评估结果揭示了性别、年龄和种族等方面的偏见，强调了负责任开发的重要性。
延伸解读
文化差距如何影响生成质量
文章指出，当输入文本包含训练数据中罕见的文化要素时，模型生成的图像质量会出现不一致。这种文化差距导致模型难以准确生成特定文化对象，例如某些文化特有的物品或符号。因此，评估和改进模型的文化适应性成为重要课题，而C3基准的提出正是为了系统衡量模型在跨文化场景下的表现。
C3基准与多模态度量的作用
C3基准是一个全面的跨文化评估标准，用于测试模型生成跨文化图像的适应性。通过分析Stable Diffusion在C3上的缺陷图像，研究者发现模型常无法生成某些文化对象。为此，他们提出一种多模态度量，考虑对象与文本的对齐，用于筛选目标文化中的微调数据。实验表明，该度量在数据选择上优于现有方法，能有效提升跨文化生成能力。
社会偏见的多维度揭示
除了文化知觉，文章还关注T2I模型中的社会偏见。对DALLE-v2和Stable Diffusion的评估显示，模型在性别、年龄、种族和地理位置相关的职业、人格特征及日常情境生成中存在严重偏见。尽管增加提示细节可缓解部分偏差，但可能无法解决图像质量或其他场景下的差异。这强调了在模型开发中需持续监测和减轻偏见。
负责任开发的路径与挑战
文章通过南亚背景下的案例研究和用户反馈，指出AI生成模型在文化理解和视野上的失败，并推荐责任开发途径。同时，多语言基准如CoCo-CroLa存在翻译错误，影响评估有效性。这些发现表明，提升跨文化能力不仅需要技术改进，还需关注数据质量和评估工具的可靠性，以促进文化多样化的T2I生成研究。
Q&A
文本到图像生成模型（T2I）中存在哪些文化偏见？
T2I模型中存在性别、年龄和种族等方面的偏见，这些偏见可能导致对少数群体的边缘化。
什么是跨文化评估标准（C3基准）？
C3基准是一种全面评估标准，用于评估文本到图像模型生成跨文化图像的适应性。
如何优化文本到图像模型的数据选择？
通过提出一种新颖的多模态度量，考虑对象与文本的对齐，以优化数据选择。
T2I模型在生成特定文化对象时存在哪些缺陷？
研究发现，T2I模型常常无法生成某些特定文化对象，导致生成图像的质量不一致。
负责任开发文本到图像模型的重要性是什么？
负责任开发能够减少模型中的社会偏见，确保生成的图像更公平和多样化。
如何评估文本到图像模型的文化适应性？
可以通过C3基准进行评估，该基准分析模型在生成跨文化图像时的表现。
