英特尔助力龙蜥加速 AI 应用及 LLM 性能

英特尔AI软件工程师王华强在2023年龙蜥操作系统大会上分享了英特尔至强处理器平台的算力和内存带宽，以及xFasterTransformer开源项目的软件架构和性能数据。第五代至强服务器平台在密度和架构方面进行了优化，内存带宽几乎翻倍。第四代至强处理器引入了新特性，如DDR5内存和PCIE5.0数据总线支持。英特尔针对大语言模型的算力需求引入了AMX加速引擎和AMS加速引擎。xFasterTransformer项目主要优化CPU平台的大语言模型推理。