本研究提出了一种新颖的信息论泛化界限,利用条件 $f$-信息框架,克服了传统条件互信息的局限性。实验结果表明,该新界限在有界和无界损失函数下均优于以往基于互信息的界限。
本文通过为特定激活函数的科尔莫哥洛夫-阿诺德网络(KAN)建立泛化界限,解决了理论分析不足的问题。这些界限在保证性能的同时,适用于不同的回归损失函数,为科学任务中的模型设计提供理论支持。
本研究探讨了深度学习模型的鲁棒性,分析了五个数据集的准确性和校准误差对鲁棒性的影响。提出了一种基于高斯模型的特征分布估计方法,优于传统方法,并研究了vicinal risk minimization的泛化界限。实验证明了新方法在不同环境中的有效性,强调了模型在分布变化下的性能提升。
本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用。使用transformer model的方式,详细探讨了ICL在i.i.d.和动态数据下的泛化界限及其稳定性,以及任务复杂度和MTL任务数量对转移学习风险的影响。最后,提出了数值评估,并验证了理论预测。
该文提出了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合,导致改进的超额风险界限。
该文提出了一种利用概率和对称化等技术来获得学习算法信息论泛化界限的方法,得到了新的期望值和高概率条件下泛化误差的上界,包括了现有泛化界限的特例。
完成下面两步后,将自动完成登录并继续当前操作。