面部图像合成的特征提取网络分析
内容提要
本文比较了医学图像中计算Fréchet距离（FD）的特征提取器，发现基于ImageNet的提取器一致性较好，但只有SwAV与医学专家判断相关。RadImageNet的FD表现不稳定，建议谨慎使用。提出偏度内插距离（SID）作为新的评估标准，实验表明其在生成模型评估中优于FID。研究发现现有指标与人类感知存在差距，建议开发更可靠的特征提取器以促进生成模型的发展。
延伸解读
医学图像评估指标的选择困境
在医学图像生成中，Fréchet距离（FD）的可靠性高度依赖特征提取器。本研究发现，基于ImageNet的提取器（如InceptionV3、ResNet50等）之间一致性较好，但只有SwAV与医学专家判断显著相关。而基于大规模医学数据集RadImageNet训练的提取器，其FD表现不稳定且与人类判断缺乏相关性。这提示研究者在评估合成医学图像时，应谨慎使用医学图像预训练的提取器，并对其在具体成像模式上进行严格验证。
SID：更贴近人类感知的新指标
针对FID的局限性，文章提出了偏度内插距离（SID），通过扩展高斯分布假设来改进评估标准。数值实验表明，SID在评估ImageNet图像特征时，要么与FID保持一致，要么更贴近人类感知。此外，在GAN生成性能评估中，SID也表现出与FID相当或更优的效果。这为生成模型评估提供了新的方向，但SID在医学图像领域的适用性仍需进一步验证。
现有指标与人类感知的差距
文章指出，现有评估指标（如FID）与人类感知存在巨大差距，甚至可能被意外扭曲所误导。例如，一个经过ImageNet预训练的FastGAN可以实现与StyleGAN2相当的FID，但在人类评估中表现更差。这强调了开发更可靠特征提取器的必要性，并呼吁释放人类评估数据和模块化库，以促进生成模型评估的标准化和可靠性。
Q&A
在医学图像中，哪种特征提取器的表现最好？
基于ImageNet的特征提取器一致性较好，尤其是SwAV与医学专家判断显著相关。
RadImageNet的Fréchet距离表现如何？
RadImageNet的Fréchet距离表现不稳定，建议谨慎使用。
偏度内插距离（SID）有什么优势？
SID在生成模型评估中优于FID，且与人类感知更接近。
现有的图像评估指标存在哪些问题？
现有指标与人类感知存在差距，无法适当检测模型对数据的记忆现象。
如何改进生成模型的特征提取器？
建议开发更可靠的特征提取器，以促进生成模型的发展。
使用SwAV训练的特征提取器有什么潜力？
使用SwAV训练的特征提取器是评估合成医学图像的有希望的方法。
