量子位
·
趋境科技发布大模型知识推理一体机，首创“全系统推理架构”助力企业实现高效推理
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
趋境科技推出“大模型知识推理一体机”，通过协同存储和多种设备降低推理成本，突破传统GPU限制，提升国产方案竞争力。创新“融合推理”技术提高效率，降低响应延迟和成本。与长亭科技合作，部署成本降低50%，推动大模型在各行业应用。
🎯
关键要点
- 趋境科技推出大模型知识推理一体机，首创全系统推理架构。
- 推理成本降低10倍以上，助力企业实现高效推理。
- 推理端的人工智能服务器预计到2027年占整体工作负载的72.6%。
- 新型推理架构打破传统以高端GPU为中心的算力设计思路。
- 全系统推理架构通过协同存储和多种设备释放异构算力。
- 支持本地部署数百亿级别的一线大模型，提供开放API接口。
- 采用以存换算技术，降低算力需求，提升推理吞吐量超过10倍。
- 融合推理技术提升可复用历史计算结果，降低计算量。
- 全系统异构协同架构设计提升大模型推理性能，降低成本。
- 与长亭科技合作，安全大模型升级为千亿大模型，安全性能全方位提升。
- 长亭科技的安全大模型部署资源成本降低50%。
- 趋境科技致力于推动大模型在更多行业的应用。
➡️
