谷歌研究开源Coral NPU平台,以助力可穿戴设备和边缘设备中的AI集成

谷歌研究开源Coral NPU平台,以助力可穿戴设备和边缘设备中的AI集成

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

Coral NPU是一个开源平台,旨在帮助硬件工程师和AI开发者在可穿戴和边缘设备中集成AI。它基于RISC-V架构,优化能效,支持多种机器学习框架,确保用户数据安全,并提供高效的设备推理,现已在GitHub上发布。

🎯

关键要点

  • Coral NPU是一个开源平台,旨在帮助硬件工程师和AI开发者在可穿戴和边缘设备中集成AI。
  • 该平台基于RISC-V架构,优化能效,支持多种机器学习框架。
  • Coral NPU旨在解决在电池供电设备上运行全天候AI应用的挑战。
  • Google研究人员提到,用户活动、环境、音频和图像处理等是使用Coral NPU平台构建硬件的潜在应用案例。
  • Coral NPU平台解决了边缘设备计算能力有限、设备碎片化和用户数据保护等三个关键维度的问题。
  • 该架构优先考虑机器学习矩阵引擎,优化AI架构以实现更高效的设备推理。
  • Coral NPU通过使用CHERI等技术来确保隐私,提供细粒度的内存安全和可扩展的软件隔离。
  • Coral NPU基于一组符合RISC-V ISA的架构IP块,能够以几毫瓦的功耗提供512 GOPS的性能。
  • 该平台包括三个基本组件:管理数据流的标量核心、符合RISC-V向量指令集的向量执行单元和加速神经网络操作的矩阵执行单元。
  • Coral NPU架构与现代C编译器集成,支持TensorFlow、JAX和PyTorch等多个机器学习框架。
  • Google研究人员创建了一个复杂的工具链,将使用TensorFlow、JAX或PythonTorch创建的ML模型转换为通用中间表示(MLIR)。
  • Google Research与Synaptics合作,构建了第一个实现新架构的物联网处理器。
  • Coral NPU平台现已在GitHub上发布。

延伸问答

Coral NPU平台的主要目标是什么?

Coral NPU平台旨在帮助硬件工程师和AI开发者在可穿戴和边缘设备中集成AI,克服性能、设备碎片化和用户信任等限制。

Coral NPU是基于什么架构的?

Coral NPU基于RISC-V架构,优化能效并支持多种机器学习框架。

Coral NPU如何确保用户数据安全?

Coral NPU通过使用CHERI等技术提供细粒度的内存安全和可扩展的软件隔离,确保用户数据不被未授权访问。

Coral NPU支持哪些机器学习框架?

Coral NPU支持多个机器学习框架,包括TensorFlow、JAX和PyTorch。

Coral NPU的性能如何?

Coral NPU的基础设计提供每秒512亿次操作(GOPS),功耗仅为几毫瓦。

Coral NPU的基本组件有哪些?

Coral NPU包括三个基本组件:标量核心、符合RISC-V向量指令集的向量执行单元和加速神经网络操作的矩阵执行单元。

➡️

继续阅读