内容提要
MAX 24.3发布,包括MAX Engine Extensibility API预览,允许开发者在新一代编译器和运行时堆栈上统一、编程和组合AI流水线,以实现最佳性能。MAX Engine是一个用于运行AI推理的新一代编译器和运行时库,支持PyTorch(TorchScript)、ONNX和本地Mojo模型,可在各种硬件上实现低延迟、高吞吐量的推理。此外,MAX平台通过使用MAX Graph API创建定制推理模型,使您能够充分发挥MAX Engine的潜力。MAX 24.3的新功能包括自定义操作,使构建AI流水线时更容易使用自定义操作。通过MAX Graphs和Mojo,您可以编写自己的MAX Graphs,并使用自定义操作扩展。MAX Engine和Mojo建立在MLIR之上,充分利用现代编译器的优势。MAX Engine确保您的Mojo代码在各种平台和硬件设置上可移植,扩大了部署选项。
Q&A
MAX 24.3的主要新功能是什么?
MAX 24.3的主要新功能包括MAX Engine Extensibility API预览和自定义操作,简化了AI流水线的构建过程。
MAX Engine如何支持AI推理?
MAX Engine是一个新一代编译器和运行时库,支持PyTorch、ONNX和本地Mojo模型,提供低延迟和高吞吐量的推理。
自定义操作在MAX 24.3中有什么优势?
自定义操作允许开发者定义特定任务的操作,简化了在AI流水线中实现复杂算法的过程。
如何使用Mojo编写自定义操作?
可以通过编写Mojo代码并使用@register.op装饰器来定义自定义操作,然后将其打包并加载到MAX Engine中。
MAX Graph API的作用是什么?
MAX Graph API集中化AI工作流,允许开发者重用内核,减少不一致性,提高开发效率。
MAX 24.3的未来更新计划有哪些?
未来更新计划包括对MacOS的支持和量化功能,预计将在夏季推出GPU支持。