InfoQ
·
微软推出Mu：一种轻量级的本地语言模型，用于Windows设置
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
微软推出Mu，一个小型语言模型，旨在本地运行于神经处理单元（NPU）上。Mu具有3.3亿参数，能够通过自然语言控制Windows设置，减少对云处理的依赖。经过微调后，Mu能快速响应用户指令，如“关闭蓝牙”，并计划扩展支持更多设置。
🎯
关键要点
-
微软推出Mu，一个小型语言模型，旨在本地运行于神经处理单元（NPU）上。
-
Mu具有3.3亿参数，能够通过自然语言控制Windows设置，减少对云处理的依赖。
-
Mu是一个优化用于边缘设备的编码-解码变换器，能够减少延迟并提高实时交互性能。
-
在高通的Hexagon NPU上，Mu的首次令牌延迟减少了47%，解码速度比类似大小的解码器模型快近五倍。
-
Mu的关键特性包括旋转位置嵌入、分组查询注意力、双层归一化和模型量化技术。
-
微软对Mu进行了微调，使用了超过360万个示例，能够将用户输入映射到系统级更改。
-
该代理目前可供Windows Insiders在Dev Channel上使用Copilot+设备。
-
微软计划扩展Mu对更多设置类别的支持，并改善对短查询的性能。
-
行业观察者认为Mu可能重新定义桌面AI体验，并改变AI叙事从‘云优先’到‘设备智能’。
❓
延伸问答
Mu语言模型的主要功能是什么？
Mu语言模型允许用户通过自然语言控制Windows设置，减少对云处理的依赖。
Mu模型的参数数量是多少？
Mu模型具有3.3亿个参数。
Mu如何提高实时交互性能？
Mu通过优化编码-解码架构，减少延迟并提高解码速度，满足实时交互的性能需求。
Mu的训练数据量有多少？
Mu经过微调，使用了超过360万个示例进行训练。
Mu模型的首次令牌延迟减少了多少？
在高通的Hexagon NPU上，Mu的首次令牌延迟减少了47%。
微软对Mu的未来计划是什么？
微软计划扩展Mu对更多设置类别的支持，并改善对短查询的性能。
➡️
