BitNet b1.58 2B4T 技术报告

本文介绍了BitNet b1.58 2B4T，这是首个开源的原生1位大型语言模型，具有20亿个参数。该模型在训练时使用了4万亿个标记，经过严格评估，显示出其在语言理解、数学推理、编程能力和对话能力等基准上达到了与同规模的领先开源全精度LLM相当的性能，并显著提高了计算效率，减少了内存占用、能耗和解码延迟。这一成果有望推动进一步的研究和应用。