量子位
·
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
内容提要
华为昇腾万卡算力集群实现98%训练可用度，具备秒级恢复和分钟级故障诊断能力，通过三套智能保险系统提升故障定位效率，确保AI算力稳定运行，满足高性能需求。
关键要点
-
华为昇腾万卡算力集群实现98%训练可用度，具备秒级恢复和分钟级故障诊断能力。
-
集群线性度超过95%，即算力卡数量增加后训练速度近似等比提升。
-
华为采用三套智能保险系统提升故障定位效率，确保AI算力稳定运行。
-
全栈可观测能力提供实时监控，快速定位故障。
-
故障诊断组合拳包括全栈故障模式库、跨域故障诊断等，提升故障排查效率。
-
自愈系统通过容错设计增强超节点的故障承受能力。
-
华为研发四项关键技术提升训练效率，确保算力卡增加后训练速度成正比提升。
-
分层分级的训练任务故障快速恢复系统，针对不同故障类型制定快速重启方案。
-
推理架构的三步保险计划确保AI推理业务稳定运行，减少故障影响。
-
整体方案实现了万卡集群训练可用度98%、秒级快恢复、95%+线性度等显著成果。
延伸解读
高可用性的必要性
在AI算力集群中，高可用性是确保系统稳定运行的关键。华为的万卡集群实现98%的训练可用度，意味着在实际应用中，系统几乎不会因故障而停机。这对于需要实时处理大量数据的应用，如自动驾驶和医疗影像分析，尤为重要。
故障诊断与恢复技术
华为采用的三套智能保险系统显著提升了故障诊断效率。通过全栈可观测能力和故障模式库，技术人员可以快速定位问题，减少故障排查时间。这种高效的故障恢复能力，不仅提升了系统的稳定性，也为用户提供了更好的体验。
线性度的重要性
集群的线性度超过95%意味着算力卡数量增加后，训练速度几乎成正比提升。这一特性确保了资源的高效利用，避免了算力浪费。在大规模AI模型训练中，线性度的提升直接关系到训练效率和成本控制。
延伸问答
华为昇腾万卡算力集群的训练可用度是多少？
华为昇腾万卡算力集群的训练可用度达98%。
华为是如何实现秒级恢复和分钟级故障诊断的？
华为通过三套智能保险系统和全栈可观测能力，实现秒级恢复和分钟级故障诊断。
什么是集群线性度，华为的线性度指标是多少？
集群线性度是指算力卡数量增加后训练速度的提升比例，华为的线性度超过95%。
华为的自愈系统是如何增强超节点的故障承受能力的？
华为的自愈系统通过容错设计和多项技术提升超节点对故障的承受能力，确保稳定运行。
华为在故障诊断中采用了哪些核心能力？
华为采用了全栈故障模式库、跨域故障诊断、计算节点故障诊断和网络故障诊断等核心能力。
华为的AI推理业务如何确保稳定运行？
华为通过三步保险计划，包括实例间切换、实例内重启恢复和实例内无损恢复，确保AI推理业务稳定运行。
