本研究探讨了联邦学习算法在非独立同分布数据上的收敛性,提出隐式正则化概念,并分析了FedAvg、FedSAM和SCAFFOLD等算法的局限性,为联邦学习的收敛行为提供了新视角。
该研究提出了一种隐式正则化方法用于Fréchet回归,解决了变量选择不足的问题。该方法能够捕捉预测变量与响应之间的非线性互动,同时提高模型的稀疏性和选择一致性。
本研究提出了一种基于隐式正则化和标签嵌入的多标签学习特征选择新方法。实验结果显示,该方法在基准数据集上显著降低了偏差,可能改善过拟合问题。
本研究探讨了过参数化张量分解中的隐式正则化,提出一种新方法,证明小随机初始化下的梯度下降能引导模型趋向低管状秩解,从而提升图像数据建模性能。
本研究分析了线性变换器在随机线性分类任务中的表现,特别是梯度下降的隐式正则化。研究发现,良好泛化需要适当的预训练任务和上下文示例数量,即使在标签翻转噪声下,变换器也能在干净测试中实现接近最佳的泛化效果。
本文介绍了改进的鲁棒主成分分析(OR-PCA)技术,通过引入隐式正则化解决了对显式正则化器的调参依赖性的问题。研究结果表明,该方法在模拟和真实数据集上表现出色,适用性更强。
本论文提供了一种统一的理论来上界核回归的超额风险,并揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象,从而实现良好的泛化。该研究结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。
本文介绍了一个自编码器框架,通过隐式正则化和内部线性层,自动估计数据集的底层维度,并生成正交流形坐标系。该框架提供了周围空间和流形空间之间的映射函数,为拓展样本作出贡献。它能够自动估计流形维度,并分析了梯度下降动态和状态空间建模和预测的应用。该框架对超参数选择具有鲁棒性。
本文探讨了使用隐式正则化训练深度神经网络的方式,证明了 SGD 最小化了一个与分布式权重后验分布相关的平均势能加一个熵正则化项,但这个势能通常与原始损失函数不同。同时,文章表明 SGD 在经典意义下甚至不会收敛,因为对于深度网络,SGD 的梯度噪声是高度非各向同性的。作者在附录中给出了这些声明的广泛经验验证。
完成下面两步后,将自动完成登录并继续当前操作。