大模型终端部署新趋势：硬件直接支持混合矩阵乘法
内容提要
微软亚洲研究院推出了数据编译器Ladder和算法T-MAC，支持低比特量化技术在硬件设备上的运行。Ladder转换数据类型指令，提高DNN计算效率；T-MAC通过查找表操作实现低比特混合精度矩阵乘法，提高CPU推理速度。研究员设计了LUT Tensor Core硬件架构，为人工智能硬件提供新思路。创新技术使大模型在资源受限设备上高效运行，推动人工智能应用。
延伸解读
低比特量化的硬件瓶颈与突破
低比特量化能大幅降低大模型在终端设备上的存储和计算成本，但现有CPU、GPU等硬件通常只支持对称精度计算，无法直接处理混合精度矩阵乘法。微软亚洲研究院的Ladder和T-MAC从软件层面解决了这一矛盾，让硬件在不改变架构的情况下支持低比特混合精度计算，为端侧大模型部署扫除了关键障碍。
软件优化与硬件创新的协同路径
Ladder和T-MAC是在现有CPU、GPU上实现的软件优化，而LUT Tensor Core则是专为混合精度矩阵乘法设计的硬件架构。软件方案能快速落地，但效率受限于通用硬件；硬件方案能实现更高能效和计算密度，但需要与现有生态集成。两者互补，共同推动低比特大模型在端侧的高效运行。
实测性能：从PC到树莓派的广泛适用性
T-MAC在Surface Laptop 7上让3B BitNet模型达到每秒48个token，2bit 7B Llama模型达到每秒30个token，比专用NPU快两倍；在树莓派5上也能达到每秒11个token。这些数据表明，低比特量化大模型已能在资源受限设备上流畅运行，且无需依赖GPU，为边缘计算场景提供了实用方案。
开源与未来应用
T-MAC和Ladder已在GitHub开源，供研发人员测试应用。这些技术不仅优化了端侧推理，还为模型参数扩展提供了新空间，并有望推动低比特大模型在机器人等具身智能系统上的部署。部分技术已在微软必应搜索和广告业务中发挥作用，显示出从研究到落地的潜力。
Q&A
微软亚洲研究院推出了哪些新技术来支持低比特量化？
微软亚洲研究院推出了数据编译器Ladder和算法T-MAC，以支持低比特量化技术在硬件设备上的运行。
Ladder如何提高DNN计算效率？
Ladder通过转换数据类型指令，最高可将DNN计算效率提升14.6倍。
T-MAC的核心思想是什么？
T-MAC的核心思想是利用查找表方法减少乘法和加法运算次数，从而实现低比特混合精度矩阵乘法的高效推理。
LUT Tensor Core硬件架构的优势是什么？
LUT Tensor Core通过查找表直接执行混合精度矩阵乘法，提高计算效率和灵活性，简化了硬件需求。
低比特量化技术对大模型的部署有什么影响？
低比特量化技术显著压缩模型规模，降低对计算资源的需求，使大模型能够在资源受限设备上高效运行。
T-MAC和Ladder的开源情况如何？
T-MAC和Ladder已经在GitHub上开源，鼓励研发人员进行测试和应用。
