利用 James-Stein 估计器控制黑盒变分推断的方差
原文中文,约300字,阅读约需1分钟。发表于: 。黑盒变分推断是在使变分推断更 “黑盒” 的最近努力中的一个有前途的框架,但在基本版本中,它要么由于不稳定性而无法收敛,要么在执行前需要调整更新步骤,这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱,但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明,在模型拟合和收敛时间方面,与...
黑盒变分推断是使变分推断更“黑盒”的有前途的框架。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。该方法提供了更简单的代替和不需要微调的权衡。在基准数据集上的性能表明,与Rao-Blackwell化方法相比具有一致的表现或更好。