Yunfeng's Simple Blog
·
bitnet-b1.58-2b-4t
💡
原文中文，约5700字，阅读约需14分钟。
📝
内容提要
微软更新的BitNet模型在CPU上的速度约为25token/s，但效果不佳，表现出智商较低。测试结果显示模型能力有限，未来有改进空间。
🎯
关键要点
- 微软更新的BitNet模型参数采用{-1, 0, 1}表示，性能在普通CPU上较好。
- 在CPU上测试速度约为25token/s，但效果不佳，表现出智商较低。
- 测试结果显示模型能力有限，存在改进空间。
- 模型在对话中表现出一定的常识和知识能力，但输出格式容易出错。
- 本地C++测试结果与官方demo一致，速度为24.96 ± 0.04 token/s。
- 总结认为该模型在CPU上能达到一定速度，但智商不在线，未来可能有改进。
❓
延伸问答
BitNet模型在CPU上的速度是多少？
在CPU上，BitNet模型的速度约为25token/s。
BitNet模型的智商表现如何？
测试结果显示，BitNet模型表现出智商较低，能力有限。
如何在本地测试BitNet模型？
可以通过下载模型并在本地搭建C++推理环境进行测试。
BitNet模型的参数采用了什么表示方式？
BitNet模型的参数采用{-1, 0, 1}来表示。
BitNet模型的输出格式有什么问题？
模型的输出格式容易出错，常常出现中英文混杂和标记符号。
未来BitNet模型有什么改进空间？
随着模型的不断迭代，未来可能会有改进，尤其是在智商和性能方面。
➡️
