Apache TVM是一个深度学习编译框架,适用于CPU、GPU和各种机器学习加速芯片。本教程演示了如何使用TVM来加速剪枝后的模型。剪枝是通过将权重值替换为0来减小模型参数大小的技术。修剪结构化稀疏权重的目的是将修剪后的权重聚集在一起,以便跳过整个块。非结构化稀疏权重是根据原始权重值进行修剪的权重。本教程包含结构化和非结构化稀疏。通过使用TVM的块稀疏优化,可以对非结构化的稀疏模型进行加速。
完成下面两步后,将自动完成登录并继续当前操作。