球面图像的几何保真度
内容提要
本文探讨了生成图像质量评估指标，指出FID和IS存在偏差，提出了新的CMMD和SID指标，以更可靠地评估图像生成模型的性能。研究表明，这些新指标能有效提高评估准确性，推动图像生成技术的发展。
延伸解读
FID 的局限与 CMMD 的改进
文章指出 FID 作为生成图像的主要质量度量标准存在问题，评估文本到图像模型时可靠性较低。CMMD 基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核，提供了更强大和可靠的图像质量评估方法。这提示研究者和开发者，在评估生成模型时，不应盲目依赖 FID，可考虑采用 CMMD 等新指标以获得更准确的结论。
精度召回率指标的不可靠性
文章证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标。这些新指标能提供比现有指标更可靠的信息信号。因此，在评估生成图像的质量和多样性时，应谨慎使用传统的精度和召回率，转而关注基于密度和覆盖率的度量，以更全面地反映模型性能。
SID 对 FID 的扩展与验证
文章探索了基于图像特征数据的高斯分布假设，通过定义偏度内插距离（SID）来扩展 FID。数值实验表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。在 GAN 模型评估中，SID 能有效衡量生成性能，超过或与 FID 相当。这表明 SID 可作为 FID 的补充或替代，提升评估的感知相关性。
FID 的偏差与修正方法
文章发现 FID 容易受到人为或意外扭曲的影响，例如一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但在人类评估方面表现更差。此外，FID 和 IS 存在偏差，偏差程度与受评估的模型有关。文章提出使用 Quasi-Monte Carlo 积分方法修正偏差，获得更准确的评估结果，并可直接取代现有评估指标。这提醒我们，评估生成模型时需警惕指标偏差，采用修正方法提高可靠性。
Q&A
FID指标存在哪些问题？
FID在评估文本到图像模型的可靠性较低，容易受到人为或意外扭曲的影响。
CMMD指标是如何改进图像质量评估的？
CMMD是基于CLIP嵌入和高斯RBF核的新替代度量标准，提供了更强大和可靠的图像质量评估方法。
SID指标与FID相比有什么优势？
SID在评估ImageNet数据的图像特征时要么与FID保持一致，要么更贴近人类感知。
如何修正FID和IS的偏差？
可以使用Quasi-Monte Carlo积分方法来修正偏差，获得更准确的评估结果。
新提出的基于密度和覆盖率的评价指标有什么特点？
这种新指标提供比现有精度和召回率指标更可靠的信息信号。
SphereDiffusion框架的主要功能是什么？
SphereDiffusion框架解决球面畸变和几何特性带来的挑战，以生成高质量且可精确控制的球面全景图像。
