扩散模型中置信度的局限
内容提要
扩散模型分步生成时，若一步写入的多个位置在已固定词元下不条件独立，则该步无法匹配训练分布；逐位置分布之积无法拟合存在依赖的联合分布，且边缘分布相同不代表依赖结构相同。在ScanAndAdd任务上，置信度排序写入的每组位置均存在依赖，生成分布总变差达噪声下限29倍，而单样本指标仍为1.0。
延伸解读
条件独立是扩散模型单步匹配训练分布的前提
文章指出，扩散模型（包括重掩码和均匀状态采样器）在一步中写入多个词元位置时，只有当这些位置在已固定词元条件下条件独立，该步才能匹配训练分布。对于像素、音素或词语等常见领域，词元间存在固有依赖，因此这一条件通常不满足。这意味着许多扩散模型的生成过程可能偏离训练分布，即使单样本指标看似完美。
逐位置分布之积无法拟合依赖联合分布
文章证明，任何逐位置分布的乘积都无法匹配存在依赖的联合分布。此外，边缘分布相同并不意味着依赖结构相同：两个联合分布可以具有完全相同的逐位置边缘分布，但取值组合出现的模式不同。因此，仅依靠逐位置分布无法判断一组位置是否依赖，这揭示了扩散模型中基于置信度排序写入方法的根本局限。
ScanAndAdd实验：置信度排序写入导致分布偏差
在ScanAndAdd合成任务上，其联合分布有闭式解，文章验证了置信度排序写入的每一组两个或更多未确定位置都是依赖的。测量生成分布的总变差达到采样噪声下限的29倍，而单样本指标仍为1.0。这表明单样本指标可能掩盖分布层面的严重偏差，提醒研究者在评估扩散模型时需关注整体分布匹配，而非仅依赖逐样本指标。
Q&A
扩散模型在一步中写入多个位置时，什么条件下才能匹配训练分布？
只有当这一步写入的位置在已固定词元下条件独立时，该步才能匹配训练分布。
为什么逐位置分布之积无法拟合存在依赖的联合分布？
因为逐位置分布之积只能表示各位置独立的联合分布，而存在依赖的联合分布无法通过乘积形式精确表示。
边缘分布相同是否意味着依赖结构相同？
不是。两个联合分布可以具有完全相同的逐位置边缘分布，但依赖结构（即哪些值组合会出现）可能不同。
在ScanAndAdd任务上，置信度排序写入的位置组是否存在依赖？
是的，在ScanAndAdd任务上，置信度排序写入的每一组两个或更多未确定位置都是依赖的。
扩散模型在ScanAndAdd任务上的生成分布与噪声下限相比如何？
生成分布的总变差达到采样噪声下限的29倍。
在ScanAndAdd任务上，单样本指标表现如何？
单样本指标仍为1.0。
