Modular Blog
·
模块化：MAX 24.3 - 介绍MAX引擎可扩展性
内容提要
MAX 24.3发布，包括MAX Engine Extensibility API预览，允许开发者在新一代编译器和运行时堆栈上统一、编程和组合AI流水线，以实现最佳性能。MAX Engine是一个用于运行AI推理的新一代编译器和运行时库，支持PyTorch（TorchScript）、ONNX和本地Mojo模型，可在各种硬件上实现低延迟、高吞吐量的推理。此外，MAX平台通过使用MAX Graph API创建定制推理模型，使您能够充分发挥MAX Engine的潜力。MAX 24.3的新功能包括自定义操作，使构建AI流水线时更容易使用自定义操作。通过MAX Graphs和Mojo，您可以编写自己的MAX Graphs，并使用自定义操作扩展。MAX Engine和Mojo建立在MLIR之上，充分利用现代编译器的优势。MAX Engine确保您的Mojo代码在各种平台和硬件设置上可移植，扩大了部署选项。
关键要点
-
MAX 24.3发布，包含MAX Engine Extensibility API预览，允许开发者统一、编程和组合AI流水线。
-
MAX Engine是用于运行AI推理的新一代编译器和运行时库，支持多种硬件的低延迟、高吞吐量推理。
-
新功能包括自定义操作，简化AI流水线的构建过程。
-
自定义操作允许开发者定义和实现自己的操作，适用于特定任务或硬件加速。
-
传统AI框架中的自定义操作实现复杂，MAX 24.3简化了这一过程。
-
通过Mojo编写自定义操作，支持跨平台执行和优化。
-
MAX Graph API使得AI工作流集中化，开发者可以重用内核，减少不一致性。
-
MAX Engine提供内置性能优化，简化开发流程，提升效率。
-
MAX Engine确保Mojo代码在多种平台和硬件上可移植，扩大部署选项。
-
MAX 24.3是未来更新的起点，包括MacOS支持和量化功能即将推出。
延伸问答
MAX 24.3的主要新功能是什么？
MAX 24.3的主要新功能包括MAX Engine Extensibility API预览和自定义操作，简化了AI流水线的构建过程。
MAX Engine如何支持AI推理？
MAX Engine是一个新一代编译器和运行时库，支持PyTorch、ONNX和本地Mojo模型，提供低延迟和高吞吐量的推理。
自定义操作在MAX 24.3中有什么优势？
自定义操作允许开发者定义特定任务的操作，简化了在AI流水线中实现复杂算法的过程。
如何使用Mojo编写自定义操作？
可以通过编写Mojo代码并使用@register.op装饰器来定义自定义操作，然后将其打包并加载到MAX Engine中。
MAX Graph API的作用是什么？
MAX Graph API集中化AI工作流，允许开发者重用内核，减少不一致性，提高开发效率。
MAX 24.3的未来更新计划有哪些？
未来更新计划包括对MacOS的支持和量化功能，预计将在夏季推出GPU支持。
