英特尔AMX助力阿里云提升推荐模型性能
内容提要
阿里云PAI团队研发了PAI-REC全链路解决方案，通过优化模型训练和推理，提升了推荐系统的速度和效率。采用英特尔® 第四代至强® 可扩展处理器Sapphire Rapids（SPR）和英特尔® AMX技术，提高了矩阵乘法的计算效率。使用BFloat16浮点格式和算子融合优化，降低了内存占用和计算开销。通过特征计算优化和图优化，进一步提升了性能。阿里云和英特尔将继续合作，探索创新方式来优化软硬件集成，提升深度学习模型的性能。
延伸解读
硬件加速如何应对推荐系统算力挑战
推荐系统深度学习模型参数量大、计算复杂，训练需数天，在线推理需在500ms内返回。英特尔第四代至强处理器搭载AMX技术，将矩阵运算从一维向量升级为二维矩阵，单周期可执行1024次BF16运算，相比上代FP32的64次提升16倍。这直接缓解了矩阵乘法密集的计算压力，是PAI-REC性能提升的硬件基础。
BFloat16与算子融合的协同优化
BFloat16保留与Float32等效的动态范围，减少一半内存占用且不损失精度，配合AVX指令加速转换。算子融合将数十个embedding_lookup相关算子合并，减少Kernel启动开销并提升缓存命中率，主流模型OP数量减少一半以上，RT降低50%以上。两者分别从数据精度和计算图层面降低开销，共同提升训练与推理效率。
实际落地效果与成本考量
优化方案已在多个客户场景验证：某电商精排模型QPS提升8倍、RT降低70%；某游戏精排模型QPS提升4倍；训练采用AMX后速度提升2倍。这些数据表明，基于CPU的优化可降低对专用加速器（如独立显卡）的依赖，有助于控制总体拥有成本。但效果因模型规模和特征数量而异，需结合具体场景评估。
技术演进与持续优化方向
英特尔已推出第五代至强处理器EMR，同样搭载AMX，提供更大LLC和更高内存带宽。阿里云ECS第八代实例g8i从SPR升级到EMR后AI性能与整体性能均有提升。这表明软硬件协同优化是持续过程，用户可关注后续实例升级带来的性能红利，但需注意迁移成本和兼容性。
Q&A
阿里云PAI-REC全链路解决方案包含哪些核心功能？
PAI-REC平台包含推荐全链路所需的功能：特征构建、模型训练和在线服务等。其中模型训练由EasyRec推荐算法框架提供，模型推理由EasyRec Processor负责。
英特尔AMX技术如何提升推荐模型的矩阵乘法效率？
英特尔AMX（高级矩阵扩展）技术从一维向量演变为二维矩阵运算，包含Tiles（8个二维寄存器）和TMUL加速引擎，支持INT8和BF16数据类型。第四代至强处理器每个周期可执行1024次BF16运算，相比第三代FP32的64次有16倍提升，从而显著提高矩阵乘法计算效率。
BFloat16浮点格式在推荐模型优化中有什么作用？
BFloat16是一种16位浮点格式，保留与Float32近似的动态范围，可降低存储需求并提高计算速度。在Embedding和矩阵乘部分使用BFloat16，能在不损失精度的情况下减少一半内存，并且与Float32转换更快，结合AVX指令加速可大幅提升性能。
算子融合和图优化如何提升推荐模型推理性能？
算子融合将一系列算子合并为单个大算子，减少Kernel启动开销，提升CPU Cache命中率，降低中间数据读写开销。针对embedding_lookup的数十个算子，EasyRec将其融合为一个算子，并使用AVX指令优化聚合计算，同时通过模板匹配自动替换子图，使主流推荐模型OP数量减少一半以上，RT降低50%以上。
特征计算优化中StringSplitOp带来了哪些性能提升？
基于AVX设计的新StringSplitOp加速字符串解析，实际测试速度是TensorFlow原生StringSplit的3倍；在读取CSV格式数据训练时，训练速度可提升2倍以上。
PAI-REC优化方案在业务落地中取得了哪些效果？
某电商精排模型（约2000 Feature Slots，20G参数）使用EasyRec Processor后QPS提升8倍，RT降低70%；某游戏精排模型（约500 Feature Slots，10G参数）QPS提升4倍；某游戏精排模型采用AMX优化后训练速度提升2倍。
英特尔第五代至强处理器在AI性能上有哪些提升？
第五代英特尔至强可扩展处理器Emerald Rapids（EMR）同样搭载AMX内置AI加速引擎，相比上一代SPR提供多达3倍的LLC，单CPU支持8通道5600MT/s DDR5。阿里云ECS第八代实例g8i从SPR升级到EMR后，AI性能和整体性能均有显著提升。
