深度解读昇腾CANN模型下沉技术，提升模型调度性能
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文介绍了昇腾CANN模型下沉技术，通过图模式的Host调度和模型下沉调度，优化模型执行性能。模型下沉调度分为模型加载和模型执行两个阶段，降低调度耗时。模型下沉执行方式减少了CPU负载、通信抖动，并提升了E2E收益。模型下沉头开销包括Tensor转换、地址刷新、异步拷贝和模型执行任务。
❓
Q&A
昇腾CANN模型下沉技术的主要目的是什么？
主要目的是优化模型执行性能，降低调度耗时。
模型下沉调度分为哪两个阶段？
模型加载和模型执行两个阶段。
什么是Host Bound模型？
Host Bound模型是指Device执行Task的速度比Host下发Task的速度快，导致Device处于空闲状态。
静态shape模型的特点是什么？
静态shape模型的输入tensor shape是固定不变的，所有算子的输入输出shape在编译时可确定。
模型下沉执行的优势有哪些？
减少CPU负载、减少通信抖动、提升E2E收益。
下沉头开销包括哪些部分？
包括Tensor转换、地址刷新、异步拷贝和模型执行任务。
🏷️
