分布式GPU训练已成为行业常态，Databricks AI每周进行大规模训练。GPU故障主要分为崩溃作业、静默降速和数值损坏。为确保训练可靠，Databricks实施了多层健康检查系统，及时发现并处理故障，确保GPU基础设施的稳定性，从而提高了大规模训练中的GPU可靠性。