得分高不代表生成模型好
内容提要
本文综述基于分数的生成模型（SGM）的研究进展：提出无需训练的SGM及高效最近邻评分估计器，在消费级CPU上达到与神经SGM相当的采样速度；将SGM扩展到黎曼流形（RSGMs），用于地球与气候球形数据；提出潜在空间变分自编码器框架LSGM，提升生成效率与稳定性；在2-Wasserstein距离上给出收敛性保证并分析不同前向过程的影响；将SGM应用于条件生成、不平衡二分类、表格数据过采样及多尺度动力学采样，并提出预测校正方案以保证反向过程收敛。
延伸解读
从数据空间到潜在空间：LSGM 的效率提升
文章介绍的 LSGM 将基于分数的生成模型从数据空间迁移到潜在空间进行训练，从而更高效地生成样本，并在多项任务上取得最先进成果。同时，训练目标中引入多种方差约束技术，以保障稳定性和可扩展性。这表明，对于高维或复杂数据，先在低维潜在空间建模可能是平衡生成质量与计算成本的有效路径。
理论收敛保证与实证验证的呼应
文章在 2-Wasserstein 距离上为 SGM 提供了收敛性保证，并针对不同前向过程推导了迭代复杂度上界。在 CIFAR-10 无条件图像生成实验中，实验结果与理论预测高度吻合，且采用新前向过程的模型能胜过现有模型。这说明理论分析不仅具有解释力，还能指导前向过程的设计，从而实际提升模型性能。
跨领域应用：从球形数据到表格过采样
文章展示了 SGM 的多种应用：将模型扩展到黎曼流形以处理地球和气候科学中的球形数据；利用少量标记数据实现条件生成；在不平衡二分类中提升性能；以及针对表格数据提出基于自有评分网络的过采样方法，并在 6 个数据集上优于其他过采样方法。这些案例表明，SGM 的框架具有较好的适应性，能针对不同数据结构和任务需求进行调整。
反向过程收敛：预测校正方案的作用
文章针对 SGM 反向过程的收敛性问题，提出了基于预测校正方案的近似 Langevin 动力学方法，并在有限时间内给出了 Wasserstein 距离的收敛保证。这一工作从理论上回应了生成采样过程是否可靠的问题，有助于理解模型在实际采样中的稳定性与误差边界，为后续改进反向过程提供了分析基础。
Q&A
基于分数的生成模型（SGM）有哪些主要研究进展？
本文综述了SGM的多项进展：提出无需训练的SGM及高效最近邻评分估计器，在消费级CPU上达到与神经SGM相当的采样速度；将SGM扩展到黎曼流形（RSGMs），用于地球与气候球形数据；提出潜在空间变分自编码器框架LSGM，提升生成效率与稳定性；在2-Wasserstein距离上给出收敛性保证并分析不同前向过程的影响；将SGM应用于条件生成、不平衡二分类、表格数据过采样及多尺度动力学采样，并提出预测校正方案以保证反向过程收敛。
无需训练的SGM如何实现与神经SGM相当的采样速度？
通过对闭式评分函数进行平滑处理，提出了一种无须训练即可生成新样本的SGM模型，并采用高效的基于最近邻的评分函数估计器，使得该方法在使用消费级CPU运行时具有与神经SGM相竞争的采样速度。
RSGMs是什么？它有什么应用场景？
RSGMs（Riemannian Score-based Generative Models）是一种将SGM扩展到黎曼流形的生成模型，采用新方法处理流形数据，尤其在地球和气候科学中的球形数据方面进行了演示。
LSGM框架如何提升生成模型的效率和稳定性？
LSGM是一种基于变分自编码器框架的潜在分数生成模型，通过使用潜在空间代替数据空间进行训练，使得模型可以更高效地生成样本，并在多项任务上取得最先进成果；同时在训练目标中提出多种方差约束技术，以保证稳定性和可扩展性。
SGM在收敛性方面有哪些理论保证？
针对具有最先进性能的SGM，基于确切的评分估计和平滑的对数凹分布假设，在2-Wasserstein距离上提出了收敛性保证；针对几种具体SGM模型（采用随机微分方程建模的前向过程的特定选择）获得了迭代复杂度的上界，展示了不同前向过程选择的影响；当数据分布为高斯分布时还提供了一个下界。
SGM在表格数据过采样方面有什么应用？
自主研发了在表格数据数据集上使用的基于分数的过采样方法，采用自有的score network，提出了两种生成方法，并进一步使用fine-tuning方法改进；实验证明在6个数据集上，该方法均能优于其他过采样方法。
