基于正则化斯坦距离的神经算子变分推断用于深高斯过程
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
该研究使用神经操作变分推断(NOVI)来提升深度高斯过程的性能,解决了生成分布和真实后验之间的正则化 Stein 差异问题。实验证明该方法在各种数据集上表现出卓越性能,特别是在 CIFAR10 数据集上实现了 93.56% 的分类准确性。
🎯
关键要点
- 引入神经操作变分推断(NOVI)用于深度高斯过程。
- 通过最小化生成分布和真实后验之间的正则化 Stein 差异解决挑战。
- 使用 Monte Carlo 估计和子抽样随机优化技术求解极小极大问题。
- 通过将 Fisher 差分乘以常数控制方法引入的偏差,实现鲁棒的误差控制。
- 在几百到数万的数据集上的实验表明所提方法的有效性和更快的收敛速度。
- 在 CIFAR10 数据集上实现了 93.56%的分类准确性,超过了 SOTA 高斯过程方法。
- 方法在 DGP 模型上理论上保证预测误差可控。
- 对 NOVI 能够提升深度贝叶斯非参数模型的性能持乐观态度。
➡️