内容提要
中科加禾发布了第一代异构原生AI算力工具,可以让不同种类的芯片大规模并行,提高效率。该工具已在国产算力的AI基础设施上发挥作用,降低时延、提升吞吐率和能效比。中科加禾与多家算力提供和应用方合作,提供基础软件平台层帮助用户迁移AI模型和芯片架构,助力国产AI生态发展。
关键要点
-
中科加禾发布第一代异构原生AI算力工具,支持不同芯片大规模并行,提高效率。
-
该工具在国产算力的AI基础设施上降低时延、提升吞吐率和能效比。
-
中科加禾与多家算力提供和应用方合作,提供基础软件平台,助力国产AI生态发展。
-
目标实现AI大模型应用在不同芯片上的零成本迁移、零损耗使用和零延迟部署。
-
工具包含异构原生大模型推理引擎SigInfer、微调引擎SigFT和算子自动生成工具SigTrans。
-
SigInfer支持多种AI加速卡,具备高性能和跨平台能力,优化AI算力的使用。
-
中科加禾的技术路线围绕编译技术展开,提升算力资源的利用效率。
-
公司致力于构建通用化、低成本、高性能的算力资源,推动国产AI生态的繁荣。
-
中科加禾希望成为算力使用方和提供方之间的桥梁,促进双方合作与发展。
延伸问答
中科加禾的异构原生AI算力工具有什么主要功能?
该工具支持不同种类的芯片大规模并行,提高效率,包含SigInfer推理引擎、SigFT微调引擎和SigTrans算子生成工具。
中科加禾的工具如何提高AI算力的使用效率?
通过优化算力资源的利用,降低时延、提升吞吐率和能效比,支持多种AI加速卡。
中科加禾与哪些公司合作?
中科加禾与AMD、华为、宝德等多家算力提供和应用方合作,提供高性能推理支持。
中科加禾的目标是什么?
目标是实现AI大模型在不同芯片上的零成本迁移、零损耗使用和零延迟部署。
SigInfer推理引擎的特点是什么?
SigInfer是一款跨平台、高性能的推理引擎,支持多种AI加速卡,具备多层次深度优化能力。
中科加禾如何解决算力“卡脖子”问题?
通过提供系统级的解决方案,支持多种国产芯片的高效工具链,促进算力的高效使用。