通过随机梯度哈密顿蒙特卡罗增强低精度采样
原文中文,约500字,阅读约需2分钟。发表于: 。低精度训练是一种具有低成本的技术,可以提高深度神经网络的训练效率,而不会牺牲太多准确性。本文通过在强对数凹和非对数凹分布中使用低精度和全精度梯度累加器的随机梯度哈密顿蒙特卡罗(SGHMC)进行低精度采样的研究。理论上,我们的结果表明,对于非对数凹分布,在 2-Wasserstein 距离中实现 ε- 错误,与最先进的低精度采样器随机梯度朗之万动力学(SGLD)相比,低精度 SGHMC...
本文研究了低精度训练技术在SGHMC中的应用,证明了低精度SGHMC相对于低精度SGLD更具鲁棒性,并在多个数据集上进行了实验验证。研究结果表明,低精度SGHMC是一种高效精确的大规模和资源有限的机器学习采样方法。