SGLD 的独立于时间的信息论泛化界
原文中文,约400字,阅读约需1分钟。发表于: 。我们提供了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),在平滑性和耗散性的假设下。我们的界限是独立于时间的,当样本大小增加时会衰减为零,无论迭代次数和步长是否固定。与以前的研究不同,我们通过关注 Kullback-Leibler 散度的时间演化来推导泛化错误界限,这与数据集的稳定性有关,并且是输出参数和输入数据集之间互信息的上界。此外,我们通过展示...
该文提出了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合,导致改进的超额风险界限。