权重衰减诱导低秩注意力层

本研究探讨了权重衰减和L2正则化对深度神经网络训练的影响，尤其是在注意力层中。结果显示，权重衰减显著降低参数矩阵的秩，可能导致语言模型性能下降。