【GPU 算子工程】全景：算子工程在 AI 计算栈的位置
内容提要
本文探讨了AI计算栈中的算子工程，分析了算子在框架、算子库、手写kernel、编译和硬件指令层的关系。强调在特定场景下手写kernel的必要性，如多算子融合和新算子实现。指出性能瓶颈常源于访存，建议使用profiler定位瓶颈后再优化。最后提供了CUDA基础学习路径和性能优化的核心结论。
关键要点
-
算子工程在 AI 计算栈中主要发生在框架算子层、算子库层和手写 kernel 层。
-
框架算子层负责形状推断和设备调度，但不负责性能优化。
-
算子库层提供高度优化的库，如 cuBLAS 和 cuDNN，主要针对常见形状和精度进行优化。
-
手写 kernel 主要在库无法覆盖的情况下使用，特别是多算子融合和新算子实现时。
-
性能瓶颈常源于访存，建议使用 profiler 确认瓶颈后再进行优化。
-
大多数简单算子性能受限于显存带宽，而非算力。
-
在优化前，需先用 Roofline 方法判断瓶颈是算力还是访存。
-
推荐的学习路径包括 CUDA 基础、性能分析工具和核心算子的实现。
延伸解读
算子工程的层次结构
算子工程在AI计算栈中主要分为框架算子层、算子库层和手写kernel层。框架算子层负责高层语义的翻译，而算子库层则提供优化的实现。手写kernel通常在库无法满足需求时使用，特别是在需要多算子融合的情况下。理解这些层次有助于工程师在性能优化时做出更明智的选择。
性能瓶颈的识别
文章强调，性能瓶颈往往源于访存而非算力。使用profiler工具确认瓶颈后再进行优化是关键。特别是在处理简单算子时，显存带宽可能成为限制因素。因此，工程师在优化前应先判断算子是计算密集型还是访存密集型，以避免不必要的时间浪费。
手写kernel的必要性
并非所有场景都需要手写kernel。只有在多算子融合、不规则小形状、新算子或新精度的情况下，手写kernel才显得必要。工程师应优先利用已有的算子库，确保在优化时有明确的收益目标，避免盲目开发。
延伸问答
算子工程在 AI 计算栈中主要涉及哪些层次？
算子工程主要发生在框架算子层、算子库层和手写 kernel 层。
在什么情况下需要手写 kernel？
当库无法覆盖、需要多算子融合或实现新算子时，才需要手写 kernel。
如何判断性能瓶颈是算力还是访存？
可以使用 Roofline 方法来判断性能瓶颈是算力还是访存。
为什么大多数简单算子性能受限于显存带宽？
因为很多简单算子的算术强度低，导致它们的性能受限于显存带宽，而非算力。
推荐的 CUDA 学习路径是什么？
推荐的学习路径包括 CUDA 基础、性能分析工具和核心算子的实现。
框架算子层的主要职责是什么？
框架算子层负责形状推断和设备调度，但不负责性能优化。
