深度解读昇腾CANN小shape算子计算优化技术，进一步减少调度开销
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文介绍了昇腾CANN小shape算子计算优化技术，通过将小shape算子保留在Host侧执行，减少调度开销带来的性能影响。优化后，模型执行性能显著提高。
❓
Q&A
昇腾CANN小shape算子计算优化技术的主要目标是什么？
主要目标是减少调度开销带来的性能影响。
在Host调度模式下，算子的执行单元是如何划分的？
算子的执行单元分为Host CPU执行和Device执行两类。
为什么小shape算子的调度开销需要优化？
因为小shape算子的调度开销往往大于实际计算开销。
优化后，模型的E2E执行时间有何变化？
E2E执行时间从3毫秒减少到约10微秒。
以LLaMA2模型为例，优化后的吞吐量提升了多少？
吞吐提升了5%。
GE是如何识别并优化小shape算子的？
GE识别小shape算子并将其保留在Host侧执行，以减少调度开销。
🏷️
