大型语言模型的快速推理：在Habana Gaudi2加速器上运行BLOOMZ

本文介绍了如何在Habana Gaudi2上使用🤗 Optimum Habana轻松部署大型语言模型BLOOM，通过基准测试显示Gaudi2比市场上任何GPU更快。Habana Gaudi2是第二代AI硬件加速器，具有优秀性能和低延迟。Habana的SDK SynapseAI支持PyTorch和DeepSpeed，可加速LLM的训练和推理。在基准测试中，Gaudi2在BLOOMZ上比A100 80GB快1.42倍。第一代Gaudi也是性价比较高的选择。未来的Habana SynapseAI SDK版本将进一步提高性能，期待Gaudi2上FP8推理的性能优势。