重新思考测试时的似然:似然路径原则及其在 OOD 检测中的应用
内容提要
本文综述基于变分自编码器的异常与分布外检测研究。核心发现是深度生成模型常因偏差而给分布外数据更高似然;据此提出似然比、误差降低、复杂度修正似然比等无监督评分方法,在图像和基因组数据上优于基准,并统一为OOD代理框架,指出模型误差比似然更可靠。
延伸解读
似然偏差:OOD检测的核心挑战
文章指出深度生成模型常因偏差给分布外数据更高似然,这解释了基于似然的异常检测为何失效。该偏差并非偶然,而是模型训练与数据分布交互的结果。理解这一点是设计更可靠评分方法的前提,也提醒读者不能直接依赖原始似然值判断异常。
似然比与误差降低:从修正到原则
文章提出似然比、误差降低和复杂度修正似然比等无监督评分方法,在图像和基因组数据上优于基准。这些方法并非简单修补,而是被统一为OOD代理框架,表明似然比是一种原则性检测思路。读者可关注其无需标签、可扩展的特点,但需注意实验主要基于VAE和特定数据集。
模型误差比似然更可靠
文章强调模型误差是OOD检测失败的更可靠说明,而非数据分布的可能性。这意味着评估检测方法时,应关注模型在未知数据上的误差表现,而非仅看似然值高低。这一观点对实际部署有指导意义,但文章也指出无法保证模型在无相关假设下优于随机猜测,需谨慎看待泛化能力。
Q&A
为什么深度生成模型会给分布外数据分配更高的似然?
文章指出,深度生成模型常因偏差而给分布外数据更高的似然,这种偏差是模型预期和期望的行为,通过分层变分自编码器提供了证据来解释。
似然比方法如何用于OOD检测?
似然比方法通过比较输入数据在模型下的似然与一个背景或参考分布的似然来测量其“OOD-ness”,从而纠正背景统计偏差,实现无监督的OOD检测。
Likelihood Regret方法在异常检测中表现如何?
Likelihood Regret是一种基于变分自编码器的异常检测方法,实验表明在VAEs上具有最佳的异常检测性能。
误差降低(ER)分数是如何工作的?
误差降低(ER)分数结合了从丢失版本中重建图像输入的概念,并考虑了图像的科尔莫哥罗夫复杂性,是一种针对基本VAE设计的新颖离群得分方法。
OOD代理框架统一了哪些方法?
OOD代理框架统一了许多最近提出的基于似然比的方法,并指出似然比是一种原则性的OOD检测方法,而不是简单的方法修正。
模型误差为什么比数据似然更可靠地说明OOD检测失败?
文章证明,无法保证模型在没有假设相关的未知分布情况下仍具备比随机猜测更好的性能,且模型误差是OOD检测失败的更可靠说明,而不是数据分布的可能性。
FLatS方法如何提升OOD检测性能?
FLatS通过似然比测量测试样例的“OOD-ness”,并作为一个通用框架,通过整合“out-distribution”密度估计p_out(x)来提高其他OOD检测方法的性能,在流行基准上达到了新的SOTA。
基于深度去噪扩散模型的离群检测方法效果如何?
该方法利用证据下界评估构建复杂度修正似然比,其结果与基于生成模型的最新离群检测方法相比具有可比性。