Modular:发布 MAX 开发者版预览

Modular:发布 MAX 开发者版预览

💡 原文英文,约1600词,阅读约需6分钟。
📝

内容提要

Modular推出了Modular Accelerated Xecution (MAX)平台,旨在简化在不同硬件平台上部署AI模型。MAX包括先进的AI编译器和运行时系统,高效的服务封装器和Mojo编程语言。MAX提供了性能提升和可移植性,允许开发人员无缝地将模型移植到不同的硬件上。它还提供了优化AI流水线的可扩展性和可编程性能力。MAX平台还提供了新的文档站点和Mojo编码平台等多种增强功能。未来的版本将包括Mac支持、企业功能和GPU支持。

🔎

延伸解读

MAX 平台的核心组件与定位

MAX 平台包含 MAX Engine、MAX Serving 和 Mojo 三个关键组件。MAX Engine 是 AI 编译器和运行时,支持 PyTorch、TensorFlow 和 ONNX 模型;MAX Serving 作为服务封装器,确保与 NVIDIA Triton 等现有服务系统互操作;Mojo 是专为 AI 开发构建的编程语言。三者共同为 AI 推理流水线提供性能、可编程性和可移植性。

性能提升与可移植性优势

通过替换少量代码,现有模型在 MAX Engine 上执行速度可提升至 5 倍,显著降低计算成本。MAX 支持 Intel、AMD、ARM 等多种 CPU 架构,GPU 支持即将推出。这种可移植性让开发者无需重写模型即可迁移到最佳硬件,同时 MAX Serving 可无缝集成到 Kubernetes 等容器生态。

可扩展性与未来路线

MAX 基于 Mojo 构建,开发者可用 Mojo 扩展和优化整个 AI 流水线。MAX Graph API 允许在 Mojo 中构建完整推理模型,未来还将支持自定义算子融合。当前版本为 Linux 预览版,未来将增加 Mac 支持、企业功能和 GPU 支持,并已提供新的文档站点和 Mojo 编码平台等开发者体验增强。

❓

Q&A

Modular MAX 平台是什么?它包含哪些核心组件?

Modular MAX(Modular Accelerated Xecution)是一个统一的工具和库集合,旨在为 AI 推理流水线提供性能、可编程性和可移植性。其首个预览版包含三个关键组件:MAX Engine(先进的 AI 编译器和运行时系统)、MAX Serving(高效的服务封装器)和 Mojo(专为 AI 开发构建的编程语言)。

MAX Engine 支持哪些模型格式和框架?

MAX Engine 支持 PyTorch、TensorFlow 和 ONNX 模型,例如 Mistral、Stable Diffusion、Llama2、WavLM、DLMR、ClipVit 等。

使用 MAX 能带来多少性能提升?如何实现?

通过仅更改几行代码,将现有的 PyTorch、TensorFlow 或 ONNX 推理调用替换为 MAX Engine 推理调用,模型执行速度可提高至 5 倍,从而降低延迟和计算成本。

MAX 如何保证模型在不同硬件上的可移植性?

MAX Engine 提供跨多种 CPU 架构(Intel、AMD、ARM)的完全可移植性,GPU 支持即将推出。这意味着开发者可以无缝地将模型迁移到最适合其用例的硬件上,而无需重写模型。

MAX 平台目前可用吗?未来有哪些计划?

MAX 平台现已作为开发者版预览在 Linux 系统上全球可用。未来版本将包括 Mac 支持、企业功能和 GPU 支持。

MAX 提供了哪些开发者体验增强?

MAX 提供了多项开发者体验增强,包括:MAX 示例仓库(GitHub 上丰富的使用示例)、全新的文档站点(快速搜索、更好分类、丰富代码示例)、Mojo 编码游乐场(快速实验和分享)、以及全新的开发者仪表板(访问更新、性能仪表板和企业功能)。

🏷️

标签

➡️

继续阅读