模块化:MAX 24.3 - 介绍MAX引擎可扩展性
原文英文,约1200词,阅读约需5分钟。发表于: 。MAX 24.3 - Introducing MAX Engine Extensibility
MAX 24.3发布,包括MAX Engine Extensibility API预览,允许开发者在新一代编译器和运行时堆栈上统一、编程和组合AI流水线,以实现最佳性能。MAX Engine是一个用于运行AI推理的新一代编译器和运行时库,支持PyTorch(TorchScript)、ONNX和本地Mojo模型,可在各种硬件上实现低延迟、高吞吐量的推理。此外,MAX平台通过使用MAX Graph API创建定制推理模型,使您能够充分发挥MAX Engine的潜力。MAX 24.3的新功能包括自定义操作,使构建AI流水线时更容易使用自定义操作。通过MAX Graphs和Mojo,您可以编写自己的MAX Graphs,并使用自定义操作扩展。MAX Engine和Mojo建立在MLIR之上,充分利用现代编译器的优势。MAX Engine确保您的Mojo代码在各种平台和硬件设置上可移植,扩大了部署选项。