原文中文,约500字,阅读约需2分钟。
📝
内容提要
北京积算科技推出算力服务平台,发布赤兔推理引擎,实现高性价比的模型轻量化部署。用户仅需50%的GPU算力即可进行大模型推理,支持非FP8精度GPU卡,显著降低算力需求。
🎯
关键要点
-
北京积算科技推出算力服务平台,发布赤兔推理引擎。
-
赤兔推理引擎实现高性价比的模型轻量化部署。
-
用户仅需50%的GPU算力即可进行大模型推理。
-
支持非FP8精度GPU卡,显著降低算力需求。
-
赤兔推理引擎由北京清程极智科技有限公司开发,并联合清华大学发布开源版本。
-
打破了FP8模型原生部署时GPU必须支持FP8精度的要求。
-
赤兔推理引擎在积算科技PowerFul-AI平台上完成兼容性认证。
-
能够快速完成DeepSeek、Qwen等大模型推理部署。
-
相比于使用BF16精度部署,GPU算力需求减半。
-
提供“成本减半、零性能损耗”的AI大模型应用开发解决方案。
🏷️