权重衰减和学习率在大语言模型预训练中至关重要。本文从滑动平均的角度探讨如何合理设置这两个参数，以增强模型的记忆能力，避免遗忘早期数据，同时防止欠拟合和权重爆炸。

本文探讨了AdamW优化器中权重RMS的渐近估计，指出其与学习率和权重衰减相关。通过平均场近似，得出权重RMS可预估的结论，强调这一结果的反直觉性。

本研究探讨了大型语言模型预训练中的超参数调优，重点分析了学习率和权重衰减的关系，并提出了一种预测最佳权重衰减的新方法，为超参数选择提供理论支持。

月之暗面团队改进了OpenAI的Muon优化器，使算力需求降低48%。新版本适用于更大模型，并验证了在分布式训练中的可行性。改进包括引入权重衰减和调整参数更新尺度，提升了训练效率和性能。

本研究探讨了权重衰减和L2正则化对深度神经网络训练的影响，尤其是在注意力层中。结果显示，权重衰减显著降低参数矩阵的秩，可能导致语言模型性能下降。

本文探讨了神经网络中的损失可塑性问题及神经坍塌现象。研究表明，层归一化和权重衰减技术能够有效维持网络的可塑性，提升学习算法的稳健性。同时，神经坍塌现象会影响模型的泛化能力和优化能力，提出的正则化方法可以缓解可塑性丧失。

本文讨论了权重衰减算法Weight Decay的缺点，并介绍了一种名为Scheduled Weight Decay的算法来解决这些问题。Scheduled Weight Decay通过调整权重衰减的强度来抑制梯度范数，改善模型的泛化能力。文章认为Weight Decay的缺点是被忽视的，而Scheduled Weight Decay是一种解决方案，但并非终极答案。

该文综述多项研究，探讨神经网络的隐性偏差。批归一化和权重衰减可能促成神经崩溃；深度网络倾向低秩解以提升泛化；稳定秩初始化可加速收敛；图神经网络存在超平滑与秩崩溃，Kronecker积之和可缓解；权重衰减实为改变训练动态。

本研究提出了一种受限参数正则化（CPR）方法，通过对单个参数组的统计度量施加上限，避免了显式的标量系数。CPR能够根据不同参数组实现不同的正则化强度，且在运行时没有明显的开销。实验证明CPR在抑制grokking效果方面表现突出，并且始终与或超过传统权重衰减的性能表现一致。

本文研究了使用SGD训练任意宽度的两层神经网络，证明了第一层权重将收敛于真实模型的k维主子空间，使用SGD训练的ReLU NNs可以通过恢复主方向来学习单指标目标，其样本复杂度与d成线性关系。

本文介绍了PyTorch中的一些函数，包括计算模型参数数量和设置权重衰减的函数。同时定义了FocalLoss类，用于实现softmax和sigmoid的焦点损失，适用于多分类任务。