生成对抗网络中 FID 和 SID 指标的评估
内容提要
该文综述生成模型评估指标，指出FID和IS易受噪声、预处理及特征空间影响，可靠性不足，并提出SID、CMMD、密度与覆盖率等新指标，建议采用准蒙特卡洛积分修正偏差，以更准确评估图像生成质量。
延伸解读
FID 的脆弱性：噪声与预处理的影响
文章指出，FID 和 IS 容易受到插入噪声的干扰，且图像预处理方式会显著影响评估结果。这意味着在比较不同模型时，若预处理不一致，FID 分数可能无法真实反映生成质量。此外，特征空间的选择也会导致 FID 波动，因此仅依赖单一 FID 值可能产生误导。
新指标 SID 与 CMMD：更贴近人类感知的尝试
为克服 FID 的局限，研究者提出了 SID 和 CMMD。SID 基于图像特征的高斯分布假设，在 ImageNet 数据上要么与 FID 一致，要么更贴近人类感知。CMMD 则利用 CLIP 嵌入和最大均值差异距离，实验证明其比 FID 更可靠，尤其适用于文本到图像模型的评估。
偏差修正与评估实践建议
文章提到 FID 和 IS 存在偏差，且偏差程度与模型相关。使用准蒙特卡洛积分可以修正偏差，获得更准确的评估值。此外，建议在评估时考虑多个特征空间，并采用密度与覆盖率等新指标，以更全面地衡量生成样本的质量和多样性。
Q&A
FID 和 IS 作为生成模型评估指标存在哪些主要问题？
FID 和 IS 容易受到插入噪声的影响，并且存在偏差，偏差程度与受评估的模型有关。此外，FID 还容易受到人为或意外扭曲的影响，例如一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但在人类评估方面表现更差。
SID 指标是什么？它相比 FID 有什么优势？
SID 是偏度内插距离（Skewness Interpolation Distance），它基于图像特征数据的高斯分布假设，扩展了 FID。数值实验表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。
CMMD 指标是如何改进文本到图像模型评估的？
CMMD 基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核。实验证明，FID 评估文本到图像模型的可靠性较低，而 CMMD 提供了更强大和可靠的图像质量评估方法。
如何修正 FID 和 IS 的偏差以获得更准确的评估结果？
可以使用 Quasi-Monte Carlo 积分方法求得准确的评估值，这种方法可以获得更为准确的评估结果，并且可以直接取代现有的评估指标。
基于密度和覆盖率的评价指标相比精度和召回率指标有什么优势？
最近的精度和召回率指标并不可靠，而基于密度和覆盖率的评价指标可以提供比现有指标更可靠的信息信号。
图像预处理对生成模型评估有什么影响？
图像预处理是一个被低估的方面，不同的预处理方式会影响评估结果。需要依据信号处理原则进行调整，并提供一个可供未来比较的参考实现。
