SCoFT：自反对细调均衡图像生成
内容提要
该文综述多项对比学习研究：提出公平监督对比损失以降低敏感属性影响并平衡公平与准确；通过多样性微调减少文生图模型偏见；将对比正则化用于微调；提出图像协调方法；构建有监督对比学习优化自然语言理解；提出公平扩散策略；用自监督对抗推理改进语言图像编辑；提出InfoCSE框架；提出上下文感知时空对比学习；提出无配对图像翻译框架MCCUT。
延伸解读
公平与准确如何兼顾
文章提出的公平监督对比损失，核心是在对比学习中去除敏感属性信息，并通过组内归一化缩小分组差异。这意味着模型不会为了公平而完全牺牲视觉表达，而是在CelebA和UTK Face上验证了平衡效果。读者可关注其“组内归一化”的具体实现，这是平衡公平与准确的关键操作。
文生图偏见缓解的量化进展
针对文本到图像模型的社会偏见，研究采用合成数据微调，在感知肤色和性别公平指标上分别提升150%和97.7%，并生成更多深肤色和女性图像。这提供了可量化的偏见缓解路径，但需注意其依赖合成数据构建，实际部署时需评估合成数据与真实分布的差距。
对比学习在多任务中的复用逻辑
文章汇总的多个工作显示，对比学习被灵活用于微调正则化、图像协调、自然语言理解、视频表示和无配对图像翻译等任务。例如硬配对挖掘策略平滑决策边界，InfoCSE通过迭代自监督协作提升句子表示。这反映对比学习作为通用正则化工具的潜力，但各任务的具体增益需结合原文实验判断。
公平扩散与数据效率的取舍
公平扩散策略无需数据筛选和额外训练即可引导生成模型公平性，而SSCR框架在仅用50%训练数据时达到与全量数据相当的结果。这两项工作分别从生成公平性和数据效率角度提供思路，但前者未提及对生成质量的影响，后者依赖特定IBLIE数据集，实际应用需权衡公平性、效率与生成保真度。
Q&A
Fair Supervised Contrastive Loss 是如何在保证公平性的同时维持准确性的？
该方法通过组内归一化减少分组之间的差异，使图像的视觉表达不带有敏感属性信息，从而在公平性和准确性上取得平衡，并在 CelebA 和 UTK Face 数据集上验证了有效性。
有哪些方法可以减轻文本到图像模型中的社会偏见？
一种方法是通过多样性微调：使用由不同民族、性别、职业、年龄组等组合构建的感知肤色和性别差异的合成数据对模型进行微调，从而减轻偏见。相比基准模型，该方法在感知肤色和性别方面将群体公平指标分别提高了150%和97.7%。
对比正则化调整（Contrastive Regularization Tuning）在微调中有什么作用？
该方法将对比自监督学习应用于微调，采用新颖的硬配对挖掘策略实现更有效的对比式微调，并平滑决策边界以更好地利用学习的判别式特征空间，在图像分类和语义分割任务中证明了有效性。
图像协调任务中，SCS-Co 和 BAIN 是如何工作的？
SCS-Co 是一种自洽的风格对比学习策略，利用多个负样本以及前景自我样式和前景背景样式一致性两个方面，在风格表示空间中规范化生成的和谐图像；BAIN 是基于注意力背景的自适应实例标准化方法。两者结合实现了图像协调，在定量比较和视觉分析上优于其他现有方法。
有监督对比学习如何用于自然语言理解任务的微调？
通过构建 SCL 算法，并将其应用到基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标。在少样本学习设置下，相比传统交叉熵损失函数，该方法在多个数据集上均有显著改进，能更好地处理数据噪音并推广至相关任务。
公平扩散（Fair Diffusion）策略有什么特点？
公平扩散是一种新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性，并防止其加重偏见。
自我监督对抗推理（SSCR）框架解决了什么问题？
SSCR 框架旨在克服迭代语言图像编辑任务中的数据稀缺性，并在两个 IBLIE 数据集上取得了新的最先进成果。即使只使用50%的训练数据，SSCR 也能获得与使用完整数据相当的结果。
InfoCSE 框架是如何利用自监督对比学习改进句子表示的？
InfoCSE 基于自监督对比学习方法，通过迭代的自我监督和数据标注反馈，实现句子表示模型和数据注释方法的相互协作，有效提高自监督学习效果，并在三个基准数据集上取得显著改善。
上下文感知时空对比学习（ConST-CL）在视频表示学习中的表现如何？
ConST-CL 利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程，成功学习细粒度视频表示。在包括 Kinetics、UCF、HMDB、AVA-Kinetics、AVA 和 OTB 的6个数据集上取得了有竞争力的结果。
MCCUT 框架如何实现无配对图像翻译？
MCCUT 是一种基于对比学习的无配对图像翻译框架，通过多视图裁剪生成多样化的负样本，利用领域一致性误差函数将深度特征空间中的嵌入约束在一起，并采用 DCSE 模块设计生成器以获得更好的结果。
