浪潮信息成功在通用服务器上运行了千亿参数的大模型推理,只用了4颗CPU,无需GPU或其他AI加速卡。通用服务器的成本优势显著,且内存容量大,适合部署大模型。通过量化技术和并行计算环境的优化,解决了CPU与内存之间的通信需求。CPU的AI算力性能也在提升,能满足大模型推理的需求。这种通用算力方案将成为企业拥有AI的新起点。
完成下面两步后,将自动完成登录并继续当前操作。