推进生成模型评估：OCR 系统中逼真图像合成和比较的新算法
内容提要
该文综述生成图像质量评估指标，指出FID不可靠，提出基于CLIP嵌入与高斯核的CMMD，并探讨特征提取、CKA、密度覆盖率、IRS等替代指标，揭示保真度、多样性与隐私的权衡，强调现有指标与人类感知存在差距。
延伸解读
FID 的局限与 CMMD 的改进
文章指出 FID 作为生成图像质量的主要度量存在可靠性问题，尤其在评估文本到图像模型时表现不佳。为此，作者提出基于 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新指标 CMMD，实验证明其能提供更强大和可靠的评估。这提示研究者和开发者，在评估生成模型时需谨慎对待 FID 结果，并考虑采用 CMMD 等替代方案。
特征提取与 CKA 的补充作用
文章通过实证研究探讨了特征空间中数据点的表示、距离计算及样本数量等问题，发现基于 CNN 和 ViT 的架构都是可靠的特征提取器。CKA 能够在不同提取器和层次间进行更好比较，且样本效率令人满意，可补充 FID 等现有指标。这些发现有助于设计更一致的测量系统，重新评估最先进的生成模型。
保真度、多样性与隐私的权衡
文章通过分析超过 10 万张胸部 X 射线图像及其合成副本，确认了保真度、多样性和隐私性之间存在不可避免的平衡。研究还表明，保真度和多样性并非高效实用性的必要条件，对于数据增强，模式坍塌或低保真度的图像也可能有效。此外，可能生成既高效实用又隐私保护的图像，为隐私保护应用中的深度生成模型提供了理论支持。
现有指标与人类感知的差距
文章系统研究了各种基于图像的生成模型，发现现有指标与人类感知存在巨大差距，且无法适当检测模型对数据的记忆现象。为此，作者提出了一种更可靠的特征提取器，并释放了生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以促进生成模型评估的进一步发展。
Q&A
为什么说FID在评估文本到图像模型时不可靠？
实验证明FID评估文本到图像模型的可靠性较低，因为它可能受到插入噪点的影响，且与人类感知存在差距。
CMMD是什么？它相比FID有什么优势？
CMMD是一种基于更丰富的CLIP嵌入和最大均值差异距离的高斯RBF核的新度量标准，相比FID提供了更强大和可靠的图像质量评估方法。
在生成模型评估中，CKA指标有什么作用？
CKA能够在一种模型中跨越各种提取器和分层层次上产生更好的比较，在表征两个内部数据相关性之间的相似性方面显示出令人满意的样本效率，并补充了现有指标（例如FID）。
图像逼真度评分（IRS）是什么？它有什么用途？
IRS是通过五个统计量计算的图像逼真度评分，是一个高效的图像逼真度度量，也可用作判断图像真实与否的指标，能成功检测由多种高质量生成模型生成的假图像。
生成模型在保真度、多样性和隐私性之间存在怎样的权衡？
通过分析超过100k张胸部X射线图像及其人工合成的副本，确认了保真度、多样性和隐私性之间不可避免的平衡问题，同时指出保真度和多样性并非高效实用性的必要条件，高效实用性的图片也可以是模式坍塌图像和低保真度图像，还可能生成既高效实用又隐私保护的图像。
现有生成图像评估指标与人类感知存在哪些差距？
现有指标与人类感知存在巨大差距，且无法适当检测到模型对数据的记忆现象。
