本研究提出了一种新的训练框架Fira，通过范数缩放方法解决低秩训练的问题，实现全秩训练，提高大规模语言模型性能。实验表明，Fira在预训练和微调中优于LoRA和GaLore，性能与全秩训练相当或更好。

Fira是Mozilla主推的字体系列。Fira Code是其中的一员，专为写程序而生。出来具有等宽等基本属性外，还加入了编程连字特性（ligatures）。编程连字特性，其实就是利用这个特性对编程中的常用符号进行优化，比如把输入的「!=」直接显示成「≠」或者把「>=」变成「≥ 」等等，以此来提高代码的可读性。作为传说中的程序员，Fira...