FBI-LLM：通过自回归蒸馏从头开始扩展全二进制 LLMs
内容提要
本文探讨了网络二值化技术在大型语言模型（LLMs）压缩中的应用，提出了部分二值化 LLMs（PB-LLM）和双二值化方法（DB-LLM），旨在提高计算效率并保持语言推理能力。研究表明，采用新型弹性二元激活函数和混合方法能够显著提升模型性能，同时降低计算成本。
延伸解读
二值化LLM的技术路线与演进
文章梳理了LLM二值化的多条技术路线：从部分二值化（PB-LLM）到1位后训练量化（BiLLM），再到双二值化（DB-LLM）和BitDistiller。这些方法分别针对不同场景：PB-LLM侧重保持推理能力，BiLLM强调极低比特下的高精度，DB-LLM追求超低位量化的效率，BitDistiller则结合量化感知训练与知识蒸馏。读者可据此了解二值化技术从部分到完全、从训练到后训练的多样化发展。
效率与精度的权衡实践
文章多次提及二值化带来的效率提升与精度损失之间的权衡。例如，BiLLM能在0.5小时内完成70亿权重LLM的二值化，且仅用1.08位权重；混合方法在翻译和摘要任务中实现高达4倍加速，但性能损失1-2%。这些数据表明，二值化在显著降低计算成本的同时，可能伴随轻微性能下降，实际应用中需根据任务容忍度选择合适方案。
轻量级模型与领域适配
除了压缩现有LLM，文章还介绍了MindLLM这类双语轻量级模型，通过从头训练减轻部署负担，并探索法律、金融等垂直领域应用。同时，结构化前馈网络与自我引导训练方法可减少参数和计算成本。这提示读者，二值化并非唯一路径，针对资源不足场景，轻量级模型与领域适配也是重要方向，且可能更灵活地满足特定需求。
Q&A
什么是部分二值化 LLMs（PB-LLM）？
部分二值化 LLMs（PB-LLM）是一种在保持低位量化的同时，维持大型语言模型的语言推理能力的方法。
双二值化方法（DB-LLM）有什么优势？
双二值化方法（DB-LLM）用于超低位量化，能够提高计算效率并减少预测失真，显著提升准确性。
BiLLM的二值化过程需要多长时间？
BiLLM能够在0.5小时内完成对拥有70亿权重的LLM的二值化过程。
BitDistiller是如何提高模型性能的？
BitDistiller结合量化感知训练和知识蒸馏，能够在超低精度下显著提升大型语言模型的性能。
MindLLM解决了什么问题？
MindLLM是一系列双语轻量级大型语言模型，旨在减轻培训和部署大型语言模型的负担，解决资源不足问题。
改进的二元转换器方法有什么创新？
改进的二元转换器方法引入了新型弹性二元激活函数，实现了接近完全精度的二元化转换模型。
