爱范儿
·
将 600 亿参数大模型装进手机的瓶颈，终于被中国 AI 公司突破了
内容提要
面壁智能推出的BitCPM-CANN三值大模型显著降低显存需求，最高可节省6倍，同时保留97%的模型能力。该模型首次在华为昇腾平台上完成训练，支持多种应用场景，从手机到PC。通过三值量化技术，模型在保持性能的同时显著减少内存占用，为AI在终端设备的应用提供了新可能。
关键要点
-
面壁智能推出的BitCPM-CANN三值大模型显著降低显存需求，最高可节省6倍。
-
该模型在华为昇腾平台上完成训练，支持从手机到PC的多种应用场景。
-
三值量化技术使得模型在保持97%性能的同时，显著减少内存占用。
-
BitCPM-CANN是首次在国产算力上完成的三值大模型训练，具有8B参数规模。
-
模型在11项任务中，能力保留率在95.7%到97.2%之间，接近全精度模型。
-
BitCPM-CANN的所有版本已开源，开发者可以直接下载复现。
-
与传统模型相比，BitCPM-CANN在内存使用上具有显著优势，能够在手机上流畅运行。
-
面壁智能在低比特训练方面积累了丰富的经验，构建了完整的端侧大模型技术体系。
延伸解读
三值量化技术的优势
BitCPM-CANN采用的三值量化技术显著降低了模型的内存需求，使得大模型能够在资源有限的终端设备上运行。这种技术不仅保持了97%的性能，还能在不增加硬件成本的情况下，提升AI应用的可行性，尤其是在手机等移动设备上。
国产算力的突破
BitCPM-CANN是首次在华为昇腾平台上完成的三值大模型训练，标志着国产算力在低比特训练领域的重大进展。这一突破不仅提升了国内AI技术的自主性，也为未来更多基于国产硬件的AI应用奠定了基础，推动了整个行业的发展。
内存瓶颈的解决方案
随着AI模型规模的不断扩大，内存需求也随之增加。BitCPM-CANN通过显著降低显存需求，为手机等终端设备提供了新的解决方案。在内存价格上涨的背景下，这种技术的应用将帮助开发者在不增加物理内存的情况下，提升模型的能力，具有重要的市场价值。
延伸问答
BitCPM-CANN模型的显存需求相比传统模型有何优势？
BitCPM-CANN模型显存需求最高可节省6倍，能够在手机上流畅运行。
三值量化技术是如何影响模型性能的？
三值量化技术使得模型在保持97%性能的同时，显著减少内存占用。
BitCPM-CANN模型在哪个平台上完成训练？
BitCPM-CANN模型首次在华为昇腾平台上完成训练。
BitCPM-CANN模型的能力保留率是多少？
BitCPM-CANN模型在11项任务中的能力保留率在95.7%到97.2%之间。
面壁智能在低比特训练方面有什么经验？
面壁智能在低比特训练方面积累了丰富的经验，构建了完整的端侧大模型技术体系。
BitCPM-CANN模型的开源情况如何？
BitCPM-CANN的所有版本已开源，开发者可以直接下载复现。
