全球TMT-美通国际
·
积算科技上线赤兔推理引擎，实现GPU算力需求减半
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
北京积算科技推出算力服务平台，发布赤兔推理引擎，实现高性价比的模型轻量化部署。用户仅需50%的GPU算力即可进行大模型推理，支持非FP8精度GPU卡，显著降低算力需求。
🎯
关键要点
- 北京积算科技推出算力服务平台，发布赤兔推理引擎。
- 赤兔推理引擎实现高性价比的模型轻量化部署。
- 用户仅需50%的GPU算力即可进行大模型推理。
- 支持非FP8精度GPU卡，显著降低算力需求。
- 赤兔推理引擎由北京清程极智科技有限公司开发，并联合清华大学发布开源版本。
- 打破了FP8模型原生部署时GPU必须支持FP8精度的要求。
- 赤兔推理引擎在积算科技PowerFul-AI平台上完成兼容性认证。
- 能够快速完成DeepSeek、Qwen等大模型推理部署。
- 相比于使用BF16精度部署，GPU算力需求减半。
- 提供“成本减半、零性能损耗”的AI大模型应用开发解决方案。
➡️
