「TVM教程」面向机器学习模型的图抽象
内容提要
TVM 0.21.0 发布，中文文档同步更新。文章阐述图抽象在机器学习编译器中的关键作用，通过有向图表示模型结构和数据流，便于优化。重点介绍 Relax IR 的特性：符号形状追踪动态维度、多层次抽象支持跨层优化、可组合变换实现灵活定制，共同提升 TVM 对模型的端到端优化能力。
延伸解读
图抽象的核心作用
图抽象通过有向图表示模型，节点为计算操作，边为数据流，使编译器能分析依赖关系。这种表示是优化基础，例如可识别可融合的操作或并行执行的机会。理解图抽象有助于把握编译器如何从模型结构中发现优化空间。
符号形状的动态维度处理
Relax 使用符号形状表示张量维度，使编译器能全局追踪动态形状关系。这对处理可变输入尺寸的模型尤为重要，例如自然语言处理中的变长序列。符号形状让优化不依赖具体数值，提升灵活性和通用性。
多层次抽象与可组合变换
Relax 支持从高层神经网络层到低层张量操作的跨层次抽象，使优化能协同进行。可组合变换框架允许选择性应用优化，如部分 lower 和特化，提供定制能力。这有助于针对特定硬件或模型结构进行精细调优，但需要用户理解变换的适用场景。
Q&A
什么是图抽象？它在机器学习编译器中有什么作用？
图抽象是将机器学习模型表示为有向图的过程，其中节点代表计算操作（如矩阵乘法、卷积），边表示操作之间的数据流。这种抽象使编译器能够分析模型中不同部分之间的依赖关系与联系，从而执行各种优化以提升性能和效率。
Relax IR 有哪些关键特性？
Relax IR 是 Apache TVM Unity 策略中使用的图表示方法，其关键特性包括：头等符号形状（symbolic shape）用于全局追踪动态形状关系；多层次抽象支持从高层神经网络层到低层张量操作的跨层次优化；可组合的变换框架允许选择性地应用优化，如部分 lower 和部分特化。
Relax 中的符号形状（symbolic shape）有什么作用？
Relax 使用符号形状来表示张量的维度，使得编译器能够在张量操作与函数调用之间全局追踪动态形状关系，从而支持动态形状的模型优化。
Relax 的多层次抽象是如何支持优化的？
Relax 支持从高层的神经网络层到低层的张量操作的跨层次抽象，使得优化可以在模型的多个层级之间协同展开，从而提升端到端的优化效果。
Relax 的可组合变换（composable transformations）提供了哪些能力？
Relax 提供了可组合的变换框架，可以选择性地应用于模型的不同部分，包括部分 lower（向低层转换）和部分特化（partial specialization）等能力，从而提供灵活的定制与优化手段。
TVM 0.21.0 版本有什么更新？
TVM 已更新到 0.21.0 版本，并且 TVM 中文文档已经与新版本对齐。
