全球首个支持单任务千卡规模异构芯片混合训练平台,来自无问芯穹

全球首个支持单任务千卡规模异构芯片混合训练平台,来自无问芯穹

💡 原文中文,约3300字,阅读约需8分钟。
📝

内容提要

无问芯穹发布了大规模模型的异构分布式混合训练系统,支持多种异构芯片的混合训练。无问芯穹的Infini-AI云平台已集成大模型异构混训能力,支持多种芯片的大模型训练。无问芯穹的技术产品能让开发者们能够有效利用各类算力资源,专注于AI应用创新。

Q&A

无问芯穹的Infini-AI云平台支持哪些异构芯片?

Infini-AI云平台支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA等六种异构芯片。

Infini-AI云平台的算力利用率是多少?

Infini-AI云平台的算力利用率最高达97.6%。

无问芯穹如何解决异构芯片之间的兼容性问题?

无问芯穹通过建立通用集合通信库和提出非均匀拆分方案来解决异构芯片之间的兼容性问题。

Infini-AI云平台支持多大规模的大模型训练?

Infini-AI云平台已支持700亿参数规模的大模型训练。

无问芯穹的异构分布式混合训练系统有什么特点?

该系统是全球首个支持单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性。

无问芯穹与哪些机构合作开发了HETHUB?

无问芯穹与清华大学和上海交通大学的联合研究团队合作开发了HETHUB。

🏷️

标签

➡️

继续阅读