英特尔面临大量无法销售的显卡库存，主要由于Gaudi 2卡和Data Center GPU Max 1450的兼容性和性能问题，以及缺乏开发支持。尽管硬件规格优秀，但软件缺陷使其使用困难，前景不容乐观。

Databricks正在为各种平台优化机器学习硬件，包括英特尔Gaudi系列AI加速器。Gaudi 2加速器在每芯片训练性能和每美元性能方面表现良好，优于NVIDIA A100-40GB、A100-80GB和H100。它在多节点训练可扩展性方面也表现出色，并在LLM推理解码延迟上与NVIDIA H100系统相匹配。文章提供了详细的硬件规格和性能比较。

Optimum Habana v1.6在Habana Gaudi2上对BridgeTower进行微调时，相比A100实现了超过3倍的加速。这种性能提升归因于硬件加速的数据加载和快速的DDP实现。BridgeTower引入了多个桥接层，以实现视觉和文本表示之间的有效交叉模态对齐和融合。BridgeTower在使用400万张图像进行预训练后，在各种视觉-语言任务上实现了最先进的性能。Habana Gaudi2和Nvidia A100在硬件方面进行了比较。基准测试结果显示，Gaudi2比A100更快，并且将更多资源分配给数据加载可以实现加速。Optimum Habana的快速DDP被介绍为在Gaudi上加速分布式运行的策略。硬件加速的数据加载被讨论为通过将数据加载操作移至加速器设备来进一步提高速度的方法。基准测试结果展示了这些优化所实现的显著加速。

本文介绍了如何在Habana Gaudi2上使用🤗 Optimum Habana轻松部署大型语言模型BLOOM，通过基准测试显示Gaudi2比市场上任何GPU更快。Habana Gaudi2是第二代AI硬件加速器，具有优秀性能和低延迟。Habana的SDK SynapseAI支持PyTorch和DeepSpeed，可加速LLM的训练和推理。在基准测试中，Gaudi2在BLOOMZ上比A100 80GB快1.42倍。第一代Gaudi也是性价比较高的选择。未来的Habana SynapseAI SDK版本将进一步提高性能，期待Gaudi2上FP8推理的性能优势。