该论文提出了一种基于Stein恒等式和核算子的谱分解的梯度估计器,适用于无采样点的外样本拓展。该估计器可以直接估计梯度函数,适用于无梯度的Hamiltonian Monte Carlo和带隐式分布的变分推断。通过和Kernel PCA的连系探讨了方法背后的原理,表明该估计器能够自适应于潜在分布的几何形态。
该文介绍了一种新的梯度估计器 SIMPLE,相对于 $k=1$ 时的 Gumbel 估计器表现出更低的偏差和方差,并在解释和稀疏线性回归方面取得了改进。同时,提供了一个计算 $k$- 子集分布的确切 ELBO 的算法,相对于 SOTA 获得了显著的更低损失。
本文提出了一种新的推理策略 - Reparameterized Variational Rejection Sampling (RVRS),通过引入低方差的重新参数化梯度估计器,将 VRS 变为适用于具有连续潜在变量的模型。RVRS 在计算成本和推理准确性之间提供了一个折衷方案,特别适用于具有局部潜在变量的黑盒推理。
该研究使用梯度估计器克服了正规化流设计的约束,实现了任意维度的神经网络作为生成模型,并在分子生成基准测试中取得了出色结果。同时,采用现成的ResNet架构在反问题基准测试中具有竞争力。
完成下面两步后,将自动完成登录并继续当前操作。