Lei Mao's Log Book
·
CUDA性能测量：热状态与冷状态的比较
内容提要
本文探讨了CUDA内核性能测量，包括“热”状态和“冷”状态。由于缓存效应，性能测量可能与实际性能不符。为消除缓存影响，可在每次运行内核前刷新GPU L2缓存。通过示例代码展示了这一过程，并比较了两种状态下的延迟差异。
关键要点
-
CUDA内核性能测量通常通过多次运行内核并取平均执行时间来完成。
-
缓存效应可能导致测量性能与实际性能不符。
-
在每次运行内核前刷新GPU L2缓存可以消除缓存影响，使内核在'冷'状态下运行。
-
没有直接的API来刷新GPU L2缓存，但可以通过分配同样大小的缓冲区并写入值来驱逐缓存值。
-
示例代码展示了如何在'热'状态和'冷'状态下测量CUDA内核性能。
-
在'热'状态下，内核从L2缓存读取数据，而在'冷'状态下则从DRAM读取。
-
性能测量的结果显示'热'状态和'冷'状态之间存在差异，主要由于缓存效应。
-
如果内核不是内存绑定的，或者缓存大小过小，'热'状态和'冷'状态之间的性能差异可能微不足道。
-
NVIDIA Nsight Compute工具在每次重放前默认刷新所有GPU缓存，以确保性能计数器值的确定性。
-
可以通过--cache-control none选项禁用工具的缓存刷新，以便进行更准确的性能分析。
延伸解读
缓存效应的重要性
在CUDA内核性能测量中，缓存效应可能导致测量结果与实际性能不符。特别是在多次运行内核时，数据可能从L2缓存读取，而非DRAM，这会影响性能评估。因此，理解缓存的影响对于准确测量至关重要。
热状态与冷状态的比较
热状态下，内核从L2缓存读取数据，通常性能较好；而冷状态下，内核则从DRAM读取，性能较差。对于内存绑定的内核，二者的性能差异可能不明显，但对于其他类型的内核，了解这种差异有助于优化性能。
使用Nsight Compute的注意事项
NVIDIA Nsight Compute工具在每次重放前会默认刷新所有GPU缓存，以确保性能计数器的确定性。然而，这种行为可能不适合某些性能分析，特别是当关注于缓存相关的指标时。用户可以通过--cache-control none选项禁用缓存刷新，以获得更准确的分析结果。
延伸问答
如何测量CUDA内核的性能？
CUDA内核的性能通常通过多次运行内核并取平均执行时间来测量。
什么是'热'状态和'冷'状态？
'热'状态是指内核从L2缓存读取数据，而'冷'状态则是从DRAM读取数据。
如何消除缓存效应以获得更准确的性能测量？
可以在每次运行内核前刷新GPU L2缓存，以消除缓存影响。
没有直接的API来刷新GPU L2缓存，应该怎么做？
可以通过分配同样大小的缓冲区并写入值来驱逐缓存值。
使用NVIDIA Nsight Compute工具时，如何确保性能计数器值的确定性？
NVIDIA Nsight Compute工具默认在每次重放前刷新所有GPU缓存，以确保性能计数器值的确定性。
在'热'状态和'冷'状态下的性能差异有多大？
性能差异主要由于缓存效应，但如果内核不是内存绑定的，差异可能微不足道。
