【GPU 算子工程】Nsight 调优工作流：Compute 与 Systems 怎么读
内容提要
本文介绍了NVIDIA的两个调优工具：Nsight Systems和Nsight Compute。Nsight Systems用于分析程序的时间线，找出占用时间最多的kernel；而Nsight Compute则深入分析单个kernel的性能瓶颈。优化流程是先用Systems定位热点，再用Compute分析原因，如访存延迟或计算瓶颈。在没有完整工具链时，可使用CUDA event进行轻量测量。最终目标是提升GPU性能，优化计算效率。
关键要点
-
NVIDIA的两个调优工具是Nsight Systems和Nsight Compute，分别用于全局时间线分析和单个kernel性能分析。
-
Nsight Systems用于找出占用时间最多的kernel，分析CPU和GPU的等待情况。
-
Nsight Compute深入分析单个kernel的性能瓶颈，包括吞吐率、warp stall原因和资源使用情况。
-
优化流程是先用Nsight Systems定位热点，再用Nsight Compute分析原因。
-
在没有完整工具链时，可以使用CUDA event进行轻量测量，计算GPU时间和带宽。
-
最终目标是提升GPU性能，优化计算效率。
延伸解读
工具选择与优化顺序
在使用NVIDIA的调优工具时，建议遵循先使用Nsight Systems再使用Nsight Compute的顺序。首先，Nsight Systems帮助开发者识别占用时间最多的kernel，确保优化的目标是性能瓶颈。接着，使用Nsight Compute深入分析这些热点kernel的具体性能问题，从而制定有效的优化策略。
轻量测量的实用性
在缺乏完整工具链的环境中，使用CUDA event进行轻量测量是一种有效的替代方案。尽管这种方法无法提供详细的性能瓶颈信息，但它可以帮助开发者快速评估kernel的执行时间和带宽利用率，为后续的优化提供初步依据。
关注warp stall原因
在使用Nsight Compute分析kernel性能时，warp stall的原因是一个关键指标。通过识别warp在执行过程中遇到的各种阻塞情况，开发者可以更有针对性地优化访存策略或计算资源的使用，从而提升整体性能。
延伸问答
Nsight Systems和Nsight Compute的主要功能是什么？
Nsight Systems用于分析程序的全局时间线，找出占用时间最多的kernel；而Nsight Compute则深入分析单个kernel的性能瓶颈。
如何使用Nsight Systems定位性能瓶颈？
使用Nsight Systems抓取程序运行的时间线，分析CUDA API调用、kernel执行和内存拷贝，找出占用时间最多的kernel。
Nsight Compute如何分析单个kernel的性能？
Nsight Compute通过重放kernel并采集硬件计数器，分析吞吐率、warp stall原因和资源使用情况，找出性能瓶颈。
在没有完整工具链的情况下，如何进行轻量测量？
可以使用CUDA event进行轻量测量，计算GPU时间和带宽，作为没有完整工具链时的替代方案。
优化GPU性能的基本流程是什么？
优化流程是先用Nsight Systems定位热点kernel，再用Nsight Compute分析原因，最终提升GPU性能。
Nsight Compute中warp stall的原因有哪些？
warp stall的原因包括访存延迟、同步频繁、访存指令排队等，具体原因可以通过Compute分析得出。
