BriefGPT - AI 论文速递
·
SGLD 的独立于时间的信息论泛化界
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文提出了一种新的信息理论泛化界限，用于研究随机梯度 Langevin 动力学（SGLD），消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合，导致改进的超额风险界限。
🎯
关键要点
-
提出了一种新的信息理论泛化界限，用于研究随机梯度 Langevin 动力学（SGLD）。
-
该界限在平滑性和耗散性假设下独立于时间，样本大小增加时衰减为零。
-
与以前的研究不同，关注 Kullback-Leibler 散度的时间演化，涉及数据集的稳定性。
-
输出参数和输入数据集之间互信息的上界被确定。
-
展示 SGLD 的损失函数是次指数的，建立了第一个信息理论的泛化界限。
-
该界限消除了现有工作中的步长依赖问题，并结合非凸优化误差界限，导致改进的超额风险界限。
🏷️
标签
➡️
