InfoQ
·
Arm可扩展矩阵扩展2即将登陆Android，以加速设备端AI
内容提要
Arm的可扩展矩阵扩展2（SME2）为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算，提升移动设备上AI模型的性能与效率。SME2在现有SME基础上增加了多向量数据处理指令和预测机制，已在最新的iOS设备和Apple M4芯片上实现，未来也将支持Android设备。开发者可通过KleidiAI库无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
关键要点
-
Arm的可扩展矩阵扩展2（SME2）为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算。
-
SME2在现有SME基础上增加了多向量数据处理指令和预测机制。
-
SME2的性能优势已在最新的iOS设备和Apple M4芯片上实现，未来将支持Android设备。
-
SME2在实时移动推理任务中表现出显著的性能提升，例如图像和语言处理。
-
在SME2支持的硬件上，Google的Gemma 3模型响应速度提高了6倍，能够在单个CPU核心上在一秒内总结800个单词。
-
Arm提供的KleidiAI库可帮助开发者无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
-
KleidiAI集成在Google的XNNPACK中，支持多个机器学习和AI框架。
-
KleidiAI的微内核架构使其易于集成到C和C++代码库中。
-
KleidiAI不依赖外部依赖项，不使用动态内存或需要内存管理，具有高度模块化设计。
-
Arm还发布了额外资源，展示使用LiteRT、MNN、PyTorch等支持框架的基于LLM的应用的实际示例。
延伸解读
SME2的性能优势
Arm的可扩展矩阵扩展2（SME2）在移动设备上实现了显著的性能提升，尤其是在实时推理任务中。与非SME2硬件相比，使用SME2的设备在处理图像和语言时，响应速度提高了6倍。这意味着开发者可以在更短的时间内完成复杂的AI任务，提升用户体验。
KleidiAI库的集成优势
KleidiAI库的设计使得开发者能够轻松集成到现有的C和C++代码库中，且无需进行应用逻辑的修改。其微内核架构和高度模块化的特性，减少了对外部依赖的需求，简化了内存管理。这为开发者提供了更大的灵活性和便利性，尤其是在构建高效的机器学习应用时。
未来的Android支持
虽然SME2的性能优势已在最新的iOS设备上得到验证，但其即将支持Android设备，这将为Android开发者带来新的机遇。随着更多设备支持SME2，开发者可以利用这一技术提升应用的AI性能，增强市场竞争力。
延伸问答
Arm的可扩展矩阵扩展2（SME2）有什么主要功能？
SME2为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算，提升移动设备上AI模型的性能与效率。
SME2如何提升AI模型的性能？
SME2通过增加多向量数据处理指令和预测机制，显著提高了实时移动推理任务的性能。
KleidiAI库的作用是什么？
KleidiAI库帮助开发者无缝利用SME2，加速机器学习和AI框架中的矩阵操作。
SME2在Android设备上的支持情况如何？
SME2的性能优势已在最新的iOS设备上实现，未来也将支持Android设备。
使用SME2的硬件能带来多大的性能提升？
在SME2支持的硬件上，Google的Gemma 3模型响应速度提高了6倍，能够在一秒内总结800个单词。
KleidiAI的设计特点是什么？
KleidiAI具有微内核架构，易于集成到C和C++代码库中，并且不依赖外部依赖项，具有高度模块化设计。
