追踪挂起和复杂的GPU内核至源代码

本文介绍了两种CUDA内核调试技术：用户触发的核心转储和通过编译二进制文件中的行信息追踪复杂内核源代码。

CUDA核心转储技术帮助开发者识别导致GPU内核挂起的具体内核，解决了以前难以定位的问题。

GPU内核挂起时，程序通常会冻结，开发者只能通过杀死进程来解决，但这无法提供根本原因的信息。

CUDA驱动程序提供了用户诱导的GPU核心转储生成特性，允许用户通过写入管道触发核心转储，便于检查GPU内部状态。

通过示例代码，展示了如何使用用户诱导的核心转储生成来调试挂起的内核。

在复杂内核中，使用NVCC_PREPEND_FLAGS='-lineinfo'编译选项可以嵌入行信息，帮助追踪导致问题的具体代码行。

cuda-gdb在显示行信息时可能存在不足，尤其是在复杂内核中，可能无法找到正确的代码行。

通过示例代码，展示了如何使用cuda-gdb和核心转储文件来定位非法内存访问问题的具体代码行。

建议在编译时使用行信息，以便更好地调试CUDA内核中的复杂问题，尤其是非法内存访问问题。

总结了两种调试技术的有效性，并强调了可访问调试在vLLM项目中的重要性。