本研究提出了一种新的训练框架Fira，通过范数缩放方法解决低秩训练的问题，实现全秩训练，提高大规模语言模型性能。实验表明，Fira在预训练和微调中优于LoRA和GaLore，性能与全秩训练相当或更好。

本文探讨了低秩训练技术，介绍了新方法ReLoRA，适用于350M参数的预训练transformer模型，表现出与常规训练相当的性能。ReLoRA在模型增大时效率提升，适合训练十亿参数网络，展示了低秩训练的潜力及其对缩放定律的影响。