本研究探讨了联邦学习算法在非独立同分布数据上的收敛性，提出隐式正则化概念，并分析了FedAvg、FedSAM和SCAFFOLD等算法的局限性，为联邦学习的收敛行为提供了新视角。

该研究提出了一种隐式正则化方法用于Fréchet回归，解决了变量选择不足的问题。该方法能够捕捉预测变量与响应之间的非线性互动，同时提高模型的稀疏性和选择一致性。

本研究提出了一种基于隐式正则化和标签嵌入的多标签学习特征选择新方法。实验结果显示，该方法在基准数据集上显著降低了偏差，可能改善过拟合问题。

本研究探讨了过参数化张量分解中的隐式正则化，提出了一种新方法，证明在小随机初始化下，梯度下降能够引导模型趋向低管状秩解，从而显著提升图像数据建模中的张量分解性能。

本文分析了深度线性神经网络的学习动态，发现其具有非线性学习特性，如快速收敛和隐式正则化。研究提出了新的前向传播算法和精度分配方法，以提升固定点训练的性能，并探讨了预训练对网络稳定性的影响，为深度学习的稳定性提供了理论基础。

本文介绍了改进的鲁棒主成分分析（OR-PCA）技术，通过引入隐式正则化解决了对显式正则化器的调参依赖性的问题。研究结果表明，该方法在模拟和真实数据集上表现出色，适用性更强。

本文探讨了深度神经网络中的隐式正则化，利用随机矩阵理论分析权重矩阵，发现训练过程隐式实现自我正则化。研究表明大批次训练会影响模型的正则化效果，并提出了改进的正则化方法，如“Heavy-Tailed Regularization”，以提升网络的泛化能力。此外，文章还探讨了梯度优化算法与隐式正则化之间的关系，建议采用更广泛的框架来理解非线性预测中的隐性正则化。

本文研究了随机梯度下降法（SGD）的隐式正则化及其动态稳定性，发现SGD在稳定性上优于梯度下降法（GD），并探讨了其对二层ReLU神经网络的影响。通过引入新方法和潜力函数，证明了SGD在特定条件下能快速收敛至全局最优解，且在多种优化算法中具有良好的稳定性和泛化性能。

本文研究了显式正则化与随机梯度下降（SGD）在深度神经网络中的作用，发现显式正则化对高参数化网络的成功贡献更大。适当的学习率能提高SGD的准确性，隐式正则化项有助于网络向简单模型发展。研究表明，SGD在超参数化区域具有良好的泛化能力，并提出了一个框架来研究其隐式偏差。

本论文提供了一种统一的理论来上界核回归的超额风险，并揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。该研究结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

本文介绍了一个自编码器框架，通过隐式正则化和内部线性层，自动估计数据集的底层维度，并生成正交流形坐标系。该框架提供了周围空间和流形空间之间的映射函数，为拓展样本作出贡献。它能够自动估计流形维度，并分析了梯度下降动态和状态空间建模和预测的应用。该框架对超参数选择具有鲁棒性。

本文探讨了使用隐式正则化训练深度神经网络的方式，证明了 SGD 最小化了一个与分布式权重后验分布相关的平均势能加一个熵正则化项，但这个势能通常与原始损失函数不同。同时，文章表明 SGD 在经典意义下甚至不会收敛，因为对于深度网络，SGD 的梯度噪声是高度非各向同性的。作者在附录中给出了这些声明的广泛经验验证。