终端侧AI：从单点应用走向智能体体验
内容提要
高通在进博会展示端侧MoE智能体，标志终端AI从单点功能迈向复杂智能体。MoE按任务调用部分专家模块，降低端侧内存与功耗压力。高通联合阶跃星辰、Infris AI、江波龙等，从模型、推理、存储到芯片平台协同优化专家预测与预取，提升运行效率，体现端云协同与产业生态合作趋势。
延伸解读
端侧MoE为何受关注：内存与功耗约束下的折中
文章指出，手机、PC等终端受内存和功耗限制，目前主流端侧模型规模多在20亿至30亿参数，能较好完成ASR、摘要等单点任务，但系统级规划任务完成度可能只有60%至80%。MoE通过每次只调用部分专家模块，减少实际运行参数量，为在有限资源下运行更高智能水平模型提供路径。
MoE端侧落地的关键：专家预测与预取
MoE模型总体体量较大，端侧运行需解决两个实际问题：根据当前任务提前预测需要哪些专家模块，以及预测后如何快速从存储调用这些模块参与计算。文章提到DDR带宽常是推理瓶颈，提前预取可减少等待。高通与Infris AI、江波龙、阶跃星辰分别从推理预测、存储加载、模型能力和芯片平台协同优化。
端云协同而非替代：端侧优先的边界
高通强调“端侧优先”和端云协同，而非端侧唯一。云端可承接需要更强智能和计算能力的任务，端侧则发挥实时、稳定、隐私和个性化优势。文章用“通用知识库”与“个人专业化知识”作比，说明端侧能结合用户身份、位置、历史和环境判断主动服务，但复杂任务仍可能需要云端支持。
生态分工：从“模型+芯片”走向协同优化
文章显示，终端侧AI的竞争不只在模型或芯片单点。模型厂商提供智能，高通通过量化与芯片软件栈优化让模型更小、推理更快；终端厂商掌握设备、操作系统和用户入口；开发者负责将能力带入具体App和场景。进博会MoE演示正是模型、推理、存储、芯片平台多方分工协作的体现。
Q&A
终端侧AI目前主要能完成哪些任务？未来会向什么方向发展？
目前终端侧AI已拓展到简单问答、聊天、图像生成与处理、文本处理、语音转录、实时翻译等多模态应用，但很多仍偏向单点功能，如自动语音识别、文本摘要、图片处理等。未来终端侧AI将从解决具体任务向更复杂的智能体体验演进，完成意图理解、任务编排、实时操作目标App等系统级、规划类任务。
为什么终端侧AI需要端云协同？端侧和云端各自发挥什么作用？
传统依赖云端的AI服务每次推理都消耗云端Token、GPU和调度资源，且依赖网络。将合适AI能力部署到端侧可减少网络依赖，提供及时稳定响应，并发挥终端在安全、隐私和个性化方面的优势。云端像通用知识库，端侧拥有用户个人专业化知识，能结合用户身份、位置、历史和环境判断需求，是主动式AI服务的基础。二者协同：云端承接需要更强智能和计算的任务，端侧发挥实时、稳定、隐私和个性化优势。
MoE混合专家模型是什么？它和传统Dense模型有什么区别？
MoE全称Mixture of Experts，即混合专家模型。传统Dense模型每次推理都需要运行全部参数，例如30亿参数模型每次推理30亿参数都要运行一遍。MoE将参数划分为多个专家模块，每个专家负责一部分且可能擅长不同任务，处理具体任务时只调用相关部分专家模块，比如20个专家中可能只调用2至3个。这减少了单次推理实际运行的参数量，提高运行效率。
MoE技术对终端侧AI有什么特别意义？
手机、PC等终端受内存和功耗限制，目前主流只能运行20亿至30亿参数模型，虽能完成单点任务，但系统级、规划类复杂任务完成度和准确度可能只有60%、70%或80%。MoE通过按任务调用部分专家模块，减少单次推理实际运行参数量，从而在终端有限内存和功耗条件下，为部署和运行更高智能水平的模型提供新路径，提升复杂任务的完成度和准确度。
在端侧运行MoE模型需要解决哪些关键问题？高通在进博会展示的Demo是如何解决的？
端侧运行MoE需解决两个实际问题：如何根据当前任务提前预测需要调用的专家模块；预测后如何快速从存储中调用这些专家模块并及时参与计算。DDR带宽是推理重要瓶颈，提前预取专家模块可减少等待。高通在第九届进博会展出的端侧MoE智能体Demo，联合阶跃星辰提升模型智能，Infris AI通过推理方案预测和预取专家模块，江波龙优化专家模块从UFS到内存的加载效率，高通围绕芯片平台和软件栈优化专家模块路由、预测和缓存预测，共同提升整体运行效率。
终端侧AI生态中不同伙伴分别扮演什么角色？
模型厂商提供智能，与高通合作通过模型量化及芯片软件栈优化，让模型更小推理更快，推动从模型+芯片走向模型for芯片或芯片for模型；终端厂商掌握用户入口，拥有设备、操作系统和智能体能力，承载个性化数据，将芯片能力与模型智能整合为用户可感知的AI体验；开发者负责将AI能力带到更多App和场景，解决长尾效应；高通提供终端AI能力底座，持续增强NPU等AI处理能力，通过骁龙平台、全栈AI软件和开发工具与各方协作。
