Arm的可扩展矩阵扩展2（SME2）为Armv9-A架构提供了一组高级CPU指令，旨在加速矩阵计算，提升移动设备上AI模型的性能与效率。SME2在现有SME基础上增加了多向量数据处理指令和预测机制，已在最新的iOS设备和Apple M4芯片上实现，未来也将支持Android设备。开发者可通过KleidiAI库无缝利用SME2，加速机器学习和AI框架中的矩阵操作。

文章探讨了一种将4096维向量降维至256维的简单算法，适用于RAG应用。作者尝试了多种不依赖外部库的算法，发现按固定区间分组求平均值的效果最佳。尽管算法简单且具有实验意义，但仍需改进。接下来，作者计划构建基于样本集的降维算法，并开发独立的矩阵计算库，以更好地处理新出现的嵌入模型。