使用英特尔Gaudi 2 AI加速器进行LLM训练和推理
原文英文,约3500词,阅读约需13分钟。发表于: 。At Databricks, we want to help our customers build and deploy generative AI applications on their own data without sacrificing data privacy or...
Databricks正在为各种平台优化机器学习硬件,包括英特尔Gaudi系列AI加速器。Gaudi 2加速器在每芯片训练性能和每美元性能方面表现良好,优于NVIDIA A100-40GB、A100-80GB和H100。它在多节点训练可扩展性方面也表现出色,并在LLM推理解码延迟上与NVIDIA H100系统相匹配。文章提供了详细的硬件规格和性能比较。