异构计算+高性能低功耗NPU，高通正在推动终端侧生成式AI发展
内容提要
高通公司在2024全球AI芯片峰会上宣布其领先的SoC解决方案提供了异构计算系统和高性能低功耗的NPU，满足生成式AI的不同需求和算力要求。他们展示了终端侧生成式AI在旗舰终端和用例中的应用，并介绍了NPU硬件架构和AI体验，包括支持大语言模型的NPU和多模态大模型的完整运行。高通强调终端侧生成式AI的重要性，并预告了下一代骁龙移动平台的发布。
延伸解读
NPU硬件架构的演进逻辑
高通Hexagon NPU的硬件设计由上层AI用例驱动。早期语音识别等任务只需标量和矢量加速单元；计算摄影兴起后，增加了张量加速器以应对像素级处理和Transformer网络；大语言模型火爆后，又专门配备Transformer支持并集成微切片推理技术。这种按需迭代的思路，使NPU能持续满足不同阶段AI负载对算力和功耗的要求。
异构计算如何匹配多样AI用例
不同AI用例对算力、时延和功耗的要求差异很大。高通将任务分给不同单元：CPU和GPU处理实时、突发、时延敏感的任务；NPU适合持续运行、高算力、高功耗要求的场景，如大模型和视频处理；传感器中枢则以极低功耗应对始终在线的任务。这种分工避免了单一处理器难以兼顾所有KPI的问题。
终端侧AI的隐私与实时优势
高通强调终端侧处理生成式AI模型，核心优势在于隐私保护。手机、PC等设备上的聊天记录、相册和生物特征信息，用户通常不希望上传云端。终端侧是离数据产生最近的地方，在本地完成大语言模型和视觉模型推理，既能避免数据外传，又能降低时延，并实现个性化体验。
端侧大模型规模与平台进展
高通已展示超过70亿参数的多模态语言模型在第三代骁龙8上完整运行，并预计今年有望看到超过100亿参数的大语言模型在端侧运行。实际部署规模取决于用例和KPI要求。目前，搭载第三代骁龙8和骁龙X Elite的终端已实现实时翻译、AI消除、智慧成片等功能，下一代骁龙移动平台将于10月发布。
Q&A
高通在2024全球AI芯片峰会上展示了什么技术？
高通展示了其领先的SoC解决方案，强调异构计算系统和高性能低功耗的NPU。
高通的NPU如何支持生成式AI的需求？
高通的NPU能够满足生成式AI的不同需求，支持旗舰终端和多种用例，具备高算力和低功耗。
终端侧生成式AI有哪些优势？
终端侧生成式AI具有隐私保护、个性化和低延迟等优势，能够在用户设备上处理数据。
高通的异构计算系统是如何工作的？
高通的异构计算系统结合了CPU、GPU和NPU，满足不同AI用例的算力和功耗需求。
高通的Hexagon NPU硬件架构包含哪些加速单元？
Hexagon NPU的硬件架构包括张量、矢量和标量加速单元，能够高效处理不同数据类型。
高通未来在NPU方面有哪些计划？
高通计划持续加大对NPU的投入，支持更大规模的大语言模型在终端侧运行。
