量子位
·
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
华为昇腾万卡算力集群实现98%训练可用度，具备秒级恢复和分钟级故障诊断能力，通过三套智能保险系统提升故障定位效率，确保AI算力稳定运行，满足高性能需求。
🎯
关键要点
- 华为昇腾万卡算力集群实现98%训练可用度，具备秒级恢复和分钟级故障诊断能力。
- 集群线性度超过95%，即算力卡数量增加后训练速度近似等比提升。
- 华为采用三套智能保险系统提升故障定位效率，确保AI算力稳定运行。
- 全栈可观测能力提供实时监控，快速定位故障。
- 故障诊断组合拳包括全栈故障模式库、跨域故障诊断等，提升故障排查效率。
- 自愈系统通过容错设计增强超节点的故障承受能力。
- 华为研发四项关键技术提升训练效率，确保算力卡增加后训练速度成正比提升。
- 分层分级的训练任务故障快速恢复系统，针对不同故障类型制定快速重启方案。
- 推理架构的三步保险计划确保AI推理业务稳定运行，减少故障影响。
- 整体方案实现了万卡集群训练可用度98%、秒级快恢复、95%+线性度等显著成果。
❓
延伸问答
华为昇腾万卡算力集群的训练可用度是多少？
华为昇腾万卡算力集群的训练可用度达98%。
华为是如何实现秒级恢复和分钟级故障诊断的？
华为通过三套智能保险系统和全栈可观测能力，实现秒级恢复和分钟级故障诊断。
什么是集群线性度，华为的线性度指标是多少？
集群线性度是指算力卡数量增加后训练速度的提升比例，华为的线性度超过95%。
华为的自愈系统是如何增强超节点的故障承受能力的？
华为的自愈系统通过容错设计和多项技术提升超节点对故障的承受能力，确保稳定运行。
华为在故障诊断中采用了哪些核心能力？
华为采用了全栈故障模式库、跨域故障诊断、计算节点故障诊断和网络故障诊断等核心能力。
华为的AI推理业务如何确保稳定运行？
华为通过三步保险计划，包括实例间切换、实例内重启恢复和实例内无损恢复，确保AI推理业务稳定运行。
➡️
