昇腾实践丨ATC模型转换动态shape问题案例

💡 原文中文,约6100字,阅读约需15分钟。
📝

内容提要

本文介绍了华为云社区关于ATC模型转换动态shape问题的几个典型案例及解决方法,包括设置固定shape、设置shape分档或设置shape范围、重新设置至少两个档位、只设置shape中的N为-1、只设置shape中的H和W为-1。

🎯

关键要点

  • ATC(Ascend Tensor Compiler)是华为的模型转换工具,支持将开源框架的网络模型转换为昇腾AI处理器支持的离线模型。
  • 模型转换过程中,ATC会进行算子调度优化、权重数据重排和内存使用优化。
  • 动态shape问题的典型案例包括:未设置shape信息、只设置一个档位、其他档位设置为-1等。
  • 解决动态shape问题的方法包括设置固定shape、设置shape分档、设置shape范围等。
  • 在动态BatchSize和动态分辨率场景中,必须至少设置两个档位。
  • 使用动态batchsize参数时,只有batch size N可以设置为-1,其他维度不能为-1。
  • 使用动态分辨率参数时,只有高度和宽度可以设置为-1,其他维度不能为-1。
  • 华为将于2023年9月20-22日举办全联接大会,探讨智能化的机遇和挑战。
➡️

继续阅读