微软研究人员推出了BitNet b1.58 2B4T，这是首个使用1位权重原生训练的大型语言模型。该模型在计算成本和硬件需求上显著低于全精度模型，同时在多项任务上表现相当。BitNet通过自定义的BitLinear层和量化技术，减小了模型大小并提高了训练稳定性。此外，微软还开发了专用推理库bitnet.cpp，以支持1位模型的高效推理。未来将探索更先进的技术和多语言能力。