积算科技上线赤兔推理引擎,实现GPU算力需求减半

积算科技上线赤兔推理引擎,实现GPU算力需求减半

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

北京积算科技推出算力服务平台,发布赤兔推理引擎,实现高性价比的模型轻量化部署。用户仅需50%的GPU算力即可进行大模型推理,支持非FP8精度GPU卡,显著降低算力需求。

🏷️

标签

➡️

继续阅读