Modular: Leveraging MAX Engine's Dynamic Shape Capabilities

本文介绍了MAX Engine 24.2版本中对动态形状的支持。首先定义了机器学习中动态形状的含义，并讨论了它们的各种类型和用例。然后介绍了如何在MAX Engine中使用动态形状。最后，通过比较BERT模型在GLUE数据集上动态形状和静态形状的平均延迟，进行了演示。动态形状是指模型自动处理各种大小输入的能力，对于处理实际数据非常重要。MAX Engine在24.2版本中支持任意维度的动态形状，但需要知道张量的秩和数据类型。对于PyTorch模型，MAX Engine需要使用TorchScript格式，并提供输入信息。通过示例说明了如何使用MAX Engine进行动态形状的应用。最后，比较了动态形状和静态形状在BERT模型上的平均延迟，动态形状具有更低的延迟。