本研究提出了一种新的训练框架Fira，通过范数缩放方法解决低秩训练的问题，实现全秩训练，提高大规模语言模型性能。实验表明，Fira在预训练和微调中优于LoRA和GaLore，性能与全秩训练相当或更好。

本文探讨了低秩训练技术，介绍了新方法ReLoRA，适用于350M参数的预训练transformer模型，表现出与常规训练相当的性能。ReLoRA在模型增大时效率提升，适合训练十亿参数网络，展示了低秩训练的潜力及其对缩放定律的影响。

本文综述多种加速Transformer语言模型训练的方法，包括渐进式层丢弃（节省24%时间、预训练提速2.5倍）、Apollo低价值优先采样与权重共享、复合缩放（使BERT预训练加快73.6%至82.2%），以及SRNets子网络、自适应随机路径选择、mRASP多语言预训练和ReLoRA低秩训练等，兼顾效率与性能。

该文综述基于奇异值分解与正交正则化的神经网络压缩与优化研究：利用正交正则化、奇异值剪枝和低秩训练降低权重矩阵秩以减少计算负担；提出牛顿迭代正交化、Pre-SVD正交梯度、正交深度网络等方法提升泛化与鲁棒性；并探讨低秩初始化、t-SVD鲁棒泛化、ReLU网络隐性偏差及加权SVD压缩Transformer语言模型，兼顾精度、鲁棒性与效率。