本研究提出了一种新的训练框架Fira，通过范数缩放方法解决低秩训练的问题，实现全秩训练，提高大规模语言模型性能。实验表明，Fira在预训练和微调中优于LoRA和GaLore，性能与全秩训练相当或更好。