想跑千亿大模型？算力厂商放大招！CPU通用服务器成为新选择
内容提要
浪潮信息成功在通用服务器上运行了千亿参数的大模型推理，只用了4颗CPU，无需GPU或其他AI加速卡。通用服务器的成本优势显著，且内存容量大，适合部署大模型。通过量化技术和并行计算环境的优化，解决了CPU与内存之间的通信需求。CPU的AI算力性能也在提升，能满足大模型推理的需求。这种通用算力方案将成为企业拥有AI的新起点。
延伸解读
CPU推理大模型：成本与内存的双重优势
浪潮信息的方案表明，通用服务器在运行千亿参数大模型时，成本较AI服务器可降低80%，且内存容量远大于GPU显存，能轻松容纳200~300GB的模型。对于传统行业，这意味着无需更换硬件即可部署AI，避免了迁移适配的麻烦。但需注意，该方案依赖特定的CPU型号和软件优化，并非所有通用服务器都能直接套用。
技术突破：量化与互连如何解决带宽瓶颈
千亿参数大模型推理需要每秒2TB以上的通信带宽，而CPU与内存间的带宽通常不足。浪潮信息通过NF4量化和嵌套量化，将模型权重压缩至每参数0.5字节，内存占用降至原来的1/4，同时采用去中心化的UPI总线互连，将CPU间传输速率提升至16GT/s，从而满足张量并行的通信需求。这些优化是方案能跑通的关键。
适用场景与局限性：并非替代GPU训练
该方案主要面向推理场景，尤其适合对成本敏感、已有通用服务器基础设施的传统行业。但文章也指出，高端AI芯片的算力更多用于模型训练，用做推理经济上不划算。因此，CPU方案并非要取代GPU，而是为推理提供一种更经济的补充选择。企业在选型时需权衡推理需求与现有硬件条件。
Q&A
浪潮信息是如何在通用服务器上运行千亿参数大模型的？
浪潮信息通过使用4颗英特尔6448H CPU，在通用服务器NF8260G7上成功运行千亿参数大模型，避免了使用GPU或其他AI加速卡。
通用服务器相比于AI服务器有哪些成本优势？
通用服务器的成本可降低80%，不仅包括设备购置，还能与现有系统更好融合，避免硬件更换。
千亿参数大模型对内存和带宽的要求是什么？
千亿参数大模型需要200~300GB的显存和每秒2TB以上的通信带宽，以满足高效运行的需求。
NF4量化技术在大模型推理中有什么作用？
NF4量化技术通过优化数据存储，显著降低内存占用，提高模型推理效率，适合大模型的权重分布。
为什么在有AI加速芯片的情况下仍然使用CPU进行推理？
使用CPU推理可以降低部署和推理成本，并且通用服务器的内存容量大于GPU，适合千亿参数大模型的需求。
浪潮信息的通用服务器方案对行业有什么影响？
该方案填补了行业空白，推动AI技术在各行业的应用，成为企业拥有AI的新起点。
