InfoQ
·
微软推出Mu：一种轻量级的本地语言模型，用于Windows设置
内容提要
微软推出Mu，一个小型语言模型，旨在本地运行于神经处理单元（NPU）上。Mu具有3.3亿参数，能够通过自然语言控制Windows设置，减少对云处理的依赖。经过微调后，Mu能快速响应用户指令，如“关闭蓝牙”，并计划扩展支持更多设置。
关键要点
-
微软推出Mu，一个小型语言模型，旨在本地运行于神经处理单元（NPU）上。
-
Mu具有3.3亿参数，能够通过自然语言控制Windows设置，减少对云处理的依赖。
-
Mu是一个优化用于边缘设备的编码-解码变换器，能够减少延迟并提高实时交互性能。
-
在高通的Hexagon NPU上，Mu的首次令牌延迟减少了47%，解码速度比类似大小的解码器模型快近五倍。
-
Mu的关键特性包括旋转位置嵌入、分组查询注意力、双层归一化和模型量化技术。
-
微软对Mu进行了微调，使用了超过360万个示例，能够将用户输入映射到系统级更改。
-
该代理目前可供Windows Insiders在Dev Channel上使用Copilot+设备。
-
微软计划扩展Mu对更多设置类别的支持，并改善对短查询的性能。
-
行业观察者认为Mu可能重新定义桌面AI体验，并改变AI叙事从‘云优先’到‘设备智能’。
延伸解读
Mu的本地化优势
Mu模型的本地运行特性显著降低了对云计算的依赖，使用户能够更快地控制Windows设置。这种本地化处理不仅提高了响应速度，还能在网络不稳定的情况下保持功能，提升了用户体验。
技术创新与性能提升
Mu采用了多项先进技术，如旋转位置嵌入和分组查询注意力，这些创新使得模型在解码速度上比同类模型快近五倍。这种性能提升对于需要实时交互的应用场景尤为重要，能够显著改善用户的操作流畅度。
未来发展与应用前景
微软计划扩展Mu对更多设置的支持，未来可能会在更多设备上实现类似的本地AI功能。这一发展不仅可能改变用户与设备的交互方式，还可能推动整个行业向‘设备智能’的方向转变。
延伸问答
Mu语言模型的主要功能是什么？
Mu语言模型允许用户通过自然语言控制Windows设置，减少对云处理的依赖。
Mu模型的参数数量是多少？
Mu模型具有3.3亿个参数。
Mu如何提高实时交互性能？
Mu通过优化编码-解码架构，减少延迟并提高解码速度，满足实时交互的性能需求。
Mu的训练数据量有多少？
Mu经过微调，使用了超过360万个示例进行训练。
Mu模型的首次令牌延迟减少了多少？
在高通的Hexagon NPU上，Mu的首次令牌延迟减少了47%。
微软对Mu的未来计划是什么？
微软计划扩展Mu对更多设置类别的支持，并改善对短查询的性能。
