模块化:模块化本地支持AI工作负载的动态形状

模块化:模块化本地支持AI工作负载的动态形状

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

本文介绍了PyTorch-XLA、TensorFlow图执行和PyTorch 2图执行等混合方法,Modular AI引擎支持动态形状,执行模型更快。使用桶和填充策略进行缓解时,XLA的编译时间显著降低,但Modular AI引擎在各种平台上的模型执行时间仍然比TensorFlow+XLA快2倍至4倍。

🏷️

标签

➡️

继续阅读