InfoQ
·
Arm可扩展矩阵扩展2即将登陆Android，以加速设备端AI
内容提要
Arm的可扩展矩阵扩展2（SME2）为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算，提升移动设备上AI模型的性能与效率。SME2在现有SME基础上增加了多向量数据处理指令和预测机制，已在最新的iOS设备和Apple M4芯片上实现，未来也将支持Android设备。开发者可通过KleidiAI库无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
关键要点
-
Arm的可扩展矩阵扩展2（SME2）为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算。
-
SME2在现有SME基础上增加了多向量数据处理指令和预测机制。
-
SME2的性能优势已在最新的iOS设备和Apple M4芯片上实现，未来将支持Android设备。
-
SME2在实时移动推理任务中表现出显著的性能提升，例如图像和语言处理。
-
在SME2支持的硬件上，Google的Gemma 3模型响应速度提高了6倍，能够在单个CPU核心上在一秒内总结800个单词。
-
Arm提供的KleidiAI库可帮助开发者无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
-
KleidiAI集成在Google的XNNPACK中，支持多个机器学习和AI框架。
-
KleidiAI的微内核架构使其易于集成到C和C++代码库中。
-
KleidiAI不依赖外部依赖项，不使用动态内存或需要内存管理，具有高度模块化设计。
-
Arm还发布了额外资源，展示使用LiteRT、MNN、PyTorch等支持框架的基于LLM的应用的实际示例。
延伸问答
Arm的可扩展矩阵扩展2（SME2）有什么主要功能？
SME2为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算，提升移动设备上AI模型的性能与效率。
SME2如何提升AI模型的性能？
SME2通过增加多向量数据处理指令和预测机制，显著提高了实时移动推理任务的性能。
KleidiAI库的作用是什么？
KleidiAI库帮助开发者无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
SME2在Android设备上的支持情况如何？
SME2的性能优势已在最新的iOS设备上实现，未来也将支持Android设备。
使用SME2的硬件能带来多大的性能提升？
在SME2支持的硬件上，Google的Gemma 3模型响应速度提高了6倍，能够在一秒内总结800个单词。
KleidiAI的设计特点是什么？
KleidiAI具有微内核架构，易于集成到C和C++代码库中，并且不依赖外部依赖项，具有高度模块化设计。
