FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型
内容提要
本文介绍了一种名为FBI-LLM的新方法，用于训练二值化大语言模型。该方法使用自回归蒸馏从头开始训练二值化模型，性能接近全精度模型。作者通过实验证明了该方法的有效性，并展示了二值化模型在生成任务上的潜力。该方法可减少存储需求，提高计算速度和能源效率。
延伸解读
二值化大模型：从头训练 vs 继续训练
以往二值化大模型常基于预训练全精度模型继续训练，但FBI-LLM的实验表明，从头训练与继续训练在训练损失和权重翻转比上无显著差异，且继续训练在中期出现波动，从头训练反而更稳定。作者推测二值化与全精度模型参数空间模式不同，继承权重可能破坏预训练知识。这提示二值化模型对初始化方式不敏感，随机初始化或更优。
训练稳定性挑战与应对
二值化大模型训练存在损失激增问题。FBI-LLM在1.3B和7B模型训练中均遇到损失峰值，1.3B出现概率约15%，7B约6%。作者采用类似PaLM的策略：回滚到前一个检查点并跳过导致不稳定的数据块。这一方法有效避免了相同步骤的再次失败。该现象可能与二值化参数表达能力有限有关，也说明训练二值化大模型需额外稳定性措施。
存储效率与硬件友好性
FBI-LLM将除causal head、embedding和Layer Norm外的所有线性层二值化，仅引入少量全精度缩放参数α和β。理论存储空间相比全精度LLaMA大幅压缩，附加参数占比很小，对存储影响可忽略。这种全量二值化设计减少了存储需求，并有望提升推理速度和能源效率，对部署硬件更友好，但生成质量仍不及全精度模型。
性能表现与规模潜力
FBI-LLM在130M、1.3B和7B规模上验证了有效性。1.3B模型在下游任务中达到同规模全精度模型87%的性能，7B模型相比之前最佳二值化方法平均提升近十点。值得注意的是，7B模型仅使用8.6%的训练数据，性能仍在提升。这表明二值化大模型具备扩展潜力，但当前结果并非最终，生成质量与全精度模型仍有差距。
Q&A
FBI-LLM是什么？
FBI-LLM是一种新方法，用于从头训练二值化大语言模型，其性能接近全精度模型。
FBI-LLM的训练方法有什么创新之处？
FBI-LLM采用自回归蒸馏损失进行训练，不依赖任何预训练参数，这是其创新之处。
二值化模型的优势是什么？
二值化模型通过将32位参数映射到更小的位数，减少存储需求，提高计算速度和能源效率。
FBI-LLM在下游任务上的表现如何？
实验表明，FBI-LLM在多个下游任务上表现优于其他二值化模型，接近全精度模型的性能。
FBI-LLM的存储效率如何？
FBI-LLM在存储效率上表现优异，显著减轻了大语言模型的存储负担。
FBI-LLM的生成能力如何？
尽管生成质量不及全精度模型，FBI-LLM仍能生成流畅且有意义的内容，展示了其生成能力的潜力。
