生成模型新颖性基于熵的可解释评估
内容提要
本文综述生成模型评估与不确定性估计研究，提出核评分与相关熵的偏差-方差-协方差分解以实现无偏一致估计，并探讨概率密度预测、GAN评估指标（MMD、1-NN）、精度召回率、广义经验似然诊断及流形度量等方法，同时比较深度生成模型与经典异常检测的性能差异。
延伸解读
评估指标并非一致：高似然不等于高质量
文章指出，平均对数似然、Parzen窗口估计和样本视觉保真度这三个常用指标在高维数据下几乎相互独立。这意味着一个模型在某项指标上表现优异，并不保证在其他指标上同样出色。因此，评估生成模型时应针对具体应用目标选择直接相关的指标，并避免使用Parzen窗口方法，因为它可能无法可靠反映生成质量。
精度与召回率：分离生成样本的质量与覆盖范围
文章提到，通过引入分布的精度和召回率概念，可以分别衡量生成样本的质量和目标分布的覆盖范围。这种评估方法能够区分模型是生成了高质量但缺乏多样性的样本，还是覆盖了广泛模式但样本质量参差不齐。对于需要平衡质量与多样性的应用，这一区分具有实际指导意义。
深度生成模型在异常检测中未必优于经典方法
文章比较了深度生成模型与经典异常检测方法的性能，发现深度生成模型的表现受超参数选择过程影响较大。当异常样本数量减少时，其性能下降，且并不能系统性地优于kNN等经典方法。这提示研究者和实践者在异常检测任务中不应盲目依赖深度生成模型，而需结合具体数据条件和调参成本进行权衡。
流形度量：从整体评估到个体样本感知质量
文章介绍了一种非参数化表示真实与生成数据流形的评估度量，可分别测量图像生成任务中样本的质量和覆盖范围，并在StyleGAN和BigGAN上验证了有效性。该度量还能扩展到个体样本的感知质量估计，并用于研究潜空间插值。这为理解模型架构、训练方法与样本分布属性之间的关系提供了更细粒度的分析工具。
Q&A
生成模型的不确定性估计有哪些新方法？
本文提出基于内核评分和相关熵的偏差-方差-协方差分解，利用生成样本实现无偏且一致的估计，并证明方差和预测内核熵可作为图像、音频和语言生成的不确定性度量。
评估生成模型时，常用的三个标准是否相互独立？
对于高维数据，平均对数似然、Parzen窗口估计和样本视觉保真度这三个常用标准几乎是相互独立的，因此好的表现不一定意味着其他标准也好，评估时应针对预期应用直接评估，并通常避免使用Parzen窗口方法。
GAN的评估指标有哪些？
基于核最大均值差（MMD）和最近邻（1-NN）等指标可以较好地满足GAN评估需要，同时具备区分真实样本与生成样本的性质。
如何评估生成样本的质量和覆盖范围？
通过提出新的分布的精度和召回率概念，可以分离分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围。
深度生成模型在异常检测中表现如何？
深度生成模型的性能受超参数选择过程影响，当选择异常样本数量减少时，其性能下降并不能系统性地优于kNN。
如何诊断深度生成模型是否丢失关键模式？
基于广义经验似然的方法可以检测模型何时丢失了关键模式、发现模型的不平衡性并评估其是否能足够捕获类内多样性。
