量子位
·
趋境科技发布大模型知识推理一体机，首创“全系统推理架构”助力企业实现高效推理
内容提要
趋境科技推出“大模型知识推理一体机”，通过协同存储和多种设备降低推理成本，突破传统GPU限制，提升国产方案竞争力。创新“融合推理”技术提高效率，降低响应延迟和成本。与长亭科技合作，部署成本降低50%，推动大模型在各行业应用。
关键要点
-
趋境科技推出大模型知识推理一体机，首创全系统推理架构。
-
推理成本降低10倍以上，助力企业实现高效推理。
-
推理端的人工智能服务器预计到2027年占整体工作负载的72.6%。
-
新型推理架构打破传统以高端GPU为中心的算力设计思路。
-
全系统推理架构通过协同存储和多种设备释放异构算力。
-
支持本地部署数百亿级别的一线大模型，提供开放API接口。
-
采用以存换算技术，降低算力需求，提升推理吞吐量超过10倍。
-
融合推理技术提升可复用历史计算结果，降低计算量。
-
全系统异构协同架构设计提升大模型推理性能，降低成本。
-
与长亭科技合作，安全大模型升级为千亿大模型，安全性能全方位提升。
-
长亭科技的安全大模型部署资源成本降低50%。
-
趋境科技致力于推动大模型在更多行业的应用。
延伸解读
推理架构的创新意义
趋境科技的全系统推理架构打破了传统以GPU为中心的算力设计思路，采用协同存储和多种设备的组合，显著提升了推理效率。这一创新不仅降低了企业的推理成本，还为大模型的广泛应用提供了新的可能性，尤其是在高需求的行业如金融和安全领域。
融合推理技术的优势
趋境科技的融合推理技术使得大模型在处理新问题时能够有效利用历史计算结果，降低了计算量和响应延迟。这种技术的引入，不仅提升了推理的效率，还为企业在实际应用中节省了大量资源，尤其是在需要快速反应的场景中。
国产GPU的竞争力提升
由于国产GPU在性能上与国际品牌存在差距，趋境科技的全系统推理架构通过整合多种算力资源，降低了对单一GPU的依赖。这一策略不仅提升了国产方案的竞争力，也为国内企业在大模型推理场景下提供了更为灵活和高效的解决方案。
延伸问答
趋境科技的大模型知识推理一体机有什么创新之处？
趋境科技的大模型知识推理一体机首创了全系统推理架构，通过协同存储和多种设备释放异构算力，显著降低推理成本。
该一体机如何降低推理成本？
该一体机通过“以存换算”技术和全系统异构协同架构，将推理成本降低10倍以上。
全系统推理架构的优势是什么？
全系统推理架构能够整合多种设备的算力，突破传统GPU限制，提升推理性能和效率。
趋境科技与长亭科技的合作有什么成果？
合作使长亭科技的安全大模型升级为千亿大模型，安全性能全方位提升，部署资源成本降低50%。
该一体机支持哪些大模型的部署？
该一体机支持本地部署数百亿级别的一线大模型，并提供开放API接口供第三方调用。
未来推理端的人工智能服务器占比如何？
预计到2027年，推理端的人工智能服务器将占整体工作负载的72.6%。
