BitNet b1.58是微软研究人员开发的低位语言模型，采用三元权重训练，旨在高效运行。文章介绍了在Linux上安装工具、克隆和构建BitNet、下载模型、运行交互式聊天模式及启动本地推理服务器的步骤，用户可通过OpenAI Python SDK连接本地服务器。

本文介绍了BitNet b1.58 2B4T，这是首个开源的原生1位大型语言模型，具有20亿个参数。该模型在训练时使用了4万亿个标记，经过严格评估，显示出其在语言理解、数学推理、编程能力和对话能力等基准上达到了与同规模的领先开源全精度LLM相当的性能，并显著提高了计算效率，减少了内存占用、能耗和解码延迟。这一成果有望推动进一步的研究和应用。

本研究提出了优化推理系统Bitnet.cpp，解决了三元大型语言模型在边缘推理中的效率问题。该系统采用新型混合精度矩阵乘法库，实现了高效无损推理，速度比全精度快6.25倍，推动了该领域的发展。

本研究提出了一种新型后训练量化方法W4A8，结合4位权重量化和8位矩阵计算加速，提升大型语言模型的推理速度和准确性。通过块量化技术，实现几乎无损的6位量化，内存密度提高5倍。此外，研究介绍了激活引导量化框架Agile-Quant，优化边缘设备的推理速度，并提出了bitnet.cpp软件栈，显著提升1位大型语言模型的推理效率。

本研究分析了现有1位大型语言模型在推理速度和能耗方面的不足，提出了bitnet.cpp软件堆栈。通过开发快速无损推理内核，提升了不同处理器上的推理速度，实现了最高6.17倍的加速，增强了1位LLM的本地部署潜力。

微软亚洲研究院发布了新的1-bit大语言模型BitNet b1.58，比传统的FP16 LLM在速度、内存使用和能耗方面更优。BitNet b1.58使用三进制表示参数，推理速度比FP16 LLM快2-4倍，内存使用减少3-4倍，能耗比FP16 LLM低70倍以上。该模型降低了存储和计算成本，提高了性能，适用于移动设备、物联网和云计算。然而，BitNet b1.58仍存在模型容量和训练难度问题。

BitNet是一种可扩展且稳定的1位Transformer架构，通过引入BitLinear作为nn.Linear层的替代方案，可以从零开始训练1位权重。实验结果表明，BitNet在语言建模方面能够达到有竞争力的性能，同时大幅减少内存占用和能源消耗。