TVM 0.21.0 发布，中文文档同步更新。文章介绍 Relax 抽象，用于端到端优化机器学习模型，以两层神经网络为例，展示高层 Numpy 与 Relax 代码，及底层实现。关键元素包括结构信息、R.call_tir 调用底层函数、数据流块标记纯函数区域，便于编译器优化如算子融合。

在大语言模型时代，显存不足是一个突出问题。本文分析了深度学习训练中的显存占用，包括框架、模型参数和特征相关的占用。通过样例程序展示了不同情况下的显存需求。使用torch.autograd.Function实现算子融合可以节约显存开销。介绍了查看pytorch自带算子保存的变量的方法。