1 位 LLMs 的时代：所有大型语言模型都在 1.58 比特
内容提要
本文综述大语言模型低位量化研究，涵盖BitNet从零训练1位权重且性能媲美8位量化与FP16并节省内存能耗、BiLLM实现1.08位后训练量化，以及二值化Transformer、BitDelta、FP8混合精度训练、MobileLLM、PB-LLM、QLLM等方法，兼顾压缩与推理能力。
延伸解读
从零训练与训练后量化的路径差异
文章涵盖的BitNet和BiLLM代表了两种不同的低位量化思路。BitNet从零开始训练1位权重，需要完整的训练流程，但能实现与8位量化及FP16相媲美的性能，并大幅降低内存和能耗。BiLLM则针对预训练模型进行1位后训练量化，仅需0.5小时即可在单GPU上完成70亿参数模型的二值化，适合快速压缩现有模型。读者可根据自身资源与需求选择：若可承担训练成本，BitNet可能带来更优的扩展性；若需快速部署，BiLLM等后训练方法更实用。
低位量化的精度与效率平衡
文章提到多项研究在压缩与推理能力之间寻求平衡。例如，OneBit框架通过量化感知训练和矩阵分解初始化，达到非量化性能的至少83%；而一项早期研究发现4位精度在零样本准确度上几乎普遍最优。这表明极低位（如1位）虽能大幅压缩，但可能牺牲部分精度，而4位量化在多数场景下可能是更稳妥的选择。读者在应用时需权衡模型大小、推理速度与任务准确度，避免盲目追求极低位而影响实际效果。
低位量化技术的适用场景与限制
文章中的方法各有侧重：BitDelta通过将微调增量量化为1位，减少GPU内存并提升多租户环境下的生成延迟，适合需要同时服务多个用户的场景；FP8混合精度训练则专注于训练阶段，在H100上训练GPT-175B可降低42%内存并提速，适合大规模训练任务；MobileLLM针对设备端小模型，通过深瘦架构和权重共享提升准确度。读者需注意，这些技术并非通用，例如二值化Transformer在机器翻译上表现良好，但在其他任务上可能需额外调整。
Q&A
BitNet 是什么？它有什么特点？
BitNet 是一种可扩展且稳定的 1 位 Transformer 架构，用于大型语言模型。它通过引入 BitLinear 作为 nn.Linear 层的替代方案，可以从零开始训练 1 位权重。实验表明，与最先进的 8 位量化方法和 FP16 Transformer 相比，BitNet 在语言建模方面能达到有竞争力的性能，同时大幅减少内存占用和能源消耗，并表现出与全精度 Transformer 类似的扩展规律。
BiLLM 如何实现 1 位后训练量化？它的效果如何？
BiLLM 是一种创新的 1 位后训练量化方案，定制了预训练的大型语言模型，仅使用 1.08 位权重就能在各种 LLM 家族和评估指标上实现高准确度的推理，超过了 LLM 的 SOTA 量化方法。它能在单个 GPU 上在 0.5 小时内完成对拥有 70 亿权重的 LLM 的二值化过程，时间效率令人满意。
BitDelta 是什么？它有什么作用？
BitDelta 是一种通过将精调模型的权重分解为预训练组件和附加的增量，并将该增量量化为 1 位而不影响性能的方法。它可以减少 GPU 内存需求，并在多租户环境中提高生成延迟。实验通过 Llama-2 和 Mistral 模型系列证实，在 70B 参数的模型上展示了在所有测试环境中性能降低最小。
FP8 混合精度训练框架有什么优势？
FP8 自动混合精度框架可以渐进地应用 8 位梯度、优化器状态和分布式学习。在 H100 GPU 平台上，与 BF16 框架相比，GPT-175B 模型的训练可以实现 42% 的实际内存使用降低，运行速度比 Nvidia Transformer Engine 快 64%，超过其 17%。此外，该方法具有通用性，可无缝应用于 LLM 指导调优、带有人类反馈的强化学习等任务，节省微调开销。
MobileLLM 是什么？它在性能上有哪些提升？
MobileLLM 是一种通过设计深而瘦的体系结构以及嵌入共享和分组查询注意机制提出的强基线网络。它在先前的 125M/350M 最先进模型上分别获得 2.7%/4.3% 的准确度提升。此外，提出的即时分块权重共享方法不增加模型大小且仅有微小的延迟开销，MobileLLM-LS 模型进一步提升了 0.7%/0.8% 的准确度。MobileLLM 模型系列在聊天基准测试中相较于之前的次十亿模型有显著提升，并在 API 调用任务中表现出接近 LLaMA-v2 7B 的正确性。
QLLM 是什么？它有什么创新？
QLLM 是一种通过自适应通道重组技术实现的准确高效的低精度模型量化方法，用于大规模语言模型的低精度量化。在 LLaMA-2 上，它相较于之前最先进的方法提高了 7.89% 的平均准确率。
