【TVM 教程】优化大语言模型
我们定义了一系列用于优化模型的传递过程(pass)。这个优化流程是专门为大语言模型(LLMs)设计的。):# 第一阶段:针对高层操作图的优化# 可以启用 cublas以进一步优化# 第二阶段:向 TIR(张量中间表示)下沉,继承 TVM Relax 的官方 "zero" 流程# 第三阶段:对 TIR 进行优化# 第四阶段:底层优化),# 第五阶段:转换为虚拟机字节码return mod。
我们定义了一系列用于优化模型的传递过程(pass)。这个优化流程是专门为大语言模型(LLMs)设计的。):# 第一阶段:针对高层操作图的优化# 可以启用 cublas以进一步优化# 第二阶段:向 TIR(张量中间表示)下沉,继承 TVM Relax 的官方 "zero" 流程# 第三阶段:对 TIR 进行优化# 第四阶段:底层优化),# 第五阶段:转换为虚拟机字节码return mod。