本研究提出了一种新颖的信息论泛化界限,利用条件 $f$-信息框架,克服了传统条件互信息的局限性。实验结果表明,该新界限在有界和无界损失函数下均优于以往基于互信息的界限。
本文通过为特定激活函数的科尔莫哥洛夫-阿诺德网络(KAN)建立泛化界限,解决了理论分析不足的问题。这些界限在保证性能的同时,适用于不同的回归损失函数,为科学任务中的模型设计提供理论支持。
本研究探讨了深度学习模型的鲁棒性,分析了五个数据集的准确性和校准误差对鲁棒性的影响。提出了一种基于高斯模型的特征分布估计方法,优于传统方法,并研究了vicinal risk minimization的泛化界限。实验证明了新方法在不同环境中的有效性,强调了模型在分布变化下的性能提升。
本文研究随机梯度下降(SGD)的泛化能力,证明了一类重尾动态轨迹上的泛化界限,不依赖互信息项,而是通过比较经验风险与预期风险的学习动态,引入可计算的几何解耦项,并利用重尾与分形技术界定其上界。为收紧界限,提出基于扰动动态的PAC-Bayesian框架,其中几何项起关键作用。
该文综述过参数化机器学习:实证表明其能增加潜在变量回收,提升模型准确性与稳健性;理论从统计信号处理角度解释相关现象,指出归纳偏差可导致过参数化,子抽样有效;还涉及代理模型加速优化、正交超参数训练、结构化输出泛化界限及剪枝中的双重下降,并强调开放问题。
该文综述随机梯度下降(SGD)的收敛性研究,涵盖异步并行下降学习率、再生核希尔伯特空间在线学习、隐式正则化与稳定性、强L^p误差分析、近似后验推断、非凸优化及泛化界限,表明SGD比GD更具普适性。
本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用。使用transformer model的方式,详细探讨了ICL在i.i.d.和动态数据下的泛化界限及其稳定性,以及任务复杂度和MTL任务数量对转移学习风险的影响。最后,提出了数值评估,并验证了理论预测。
该文提出了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合,导致改进的超额风险界限。
该文提出了一种利用概率和对称化等技术来获得学习算法信息论泛化界限的方法,得到了新的期望值和高概率条件下泛化误差的上界,包括了现有泛化界限的特例。
完成下面两步后,将自动完成登录并继续当前操作。