完美无误：改进文本到图像模型中的空间一致性
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
本文研究了大规模文本到图像合成（T2I）中的空间理解能力，提出了评估指标VISOR和数据集SR2D，发现现有模型在多对象和空间关系生成方面存在局限性。引入SR4G数据集，包含990万个图像标题对，微调模型SD$_{SR4G}$显著提升了VISOR指标。此外，研究探讨了通过生成式对抗网络和自然语言描述改善图像生成质量的方法，并提出了VersaT2I框架以提升T2I模型性能。
🔎
延伸解读
空间关系生成的关键挑战
文章指出，当前文本到图像模型在多对象和空间关系生成上存在严重限制和偏差。作者假设这是因为训练数据中的图像标题很少包含显式空间关系。这一发现揭示了数据质量对模型空间理解能力的影响，为后续改进提供了方向。
SR4G数据集与微调效果
通过自动生成包含14种显式空间关系的合成标题，作者构建了SR4G数据集，包含990万个图像标题对。微调稳定扩散模型后，VISOR指标提升高达9个点，且在未见过的对象分割上依然有效，表明模型能泛化到新对象。
VersaT2I框架的多方面优化
VersaT2I框架将图像质量分解为美学、文本-图像对齐、几何、低级质量等方面，利用多个奖励机制和LoRA微调，并通过门控函数结合不同方面以避免冲突。该方法无需手动注释或强化学习，易于扩展，在多种质量标准上优于基线。
❓
Q&A
什么是VISOR评估指标？
VISOR是用于评估文本到图像合成模型空间理解能力的指标。
SR4G数据集的主要特点是什么？
SR4G数据集包含990万个图像标题对，专注于显式空间关系的生成。
如何提高文本到图像模型的性能？
通过VersaT2I框架和多个奖励机制，可以优化图像质量的各个方面，从而提升模型性能。
现有文本到图像模型存在哪些局限性？
现有模型在多对象和空间关系生成方面存在严重限制，主要是由于训练数据缺乏显式空间关系。
生成式对抗网络在图像生成中有什么作用？
生成式对抗网络可以通过学习语义自适应变换来改善图像生成质量。
如何评估文本到图像生成的质量？
可以使用自动评估指标、FID指标和用户研究来评估生成图像的质量。
🏷️
