CUDA 共享内存置换
内容提要
本文介绍了处理共享内存银行冲突的技巧，包括填充和交换技术，并给出了示例。作者还介绍了交换公式和属性，并通过实验比较了不同技术的性能差异。
延伸解读
交换技术的数学基础
交换技术通过异或操作重新映射共享内存索引，其公式确保索引在交换前后一一对应，避免数据丢失。文章给出了非正式的数学证明，并指出NX必须是2的幂。这种映射在给定任意x和连续32个y值时，能最大化唯一交换索引的数量，从而减少银行冲突。理解这些属性有助于正确实现交换技术。
矩阵转置中的性能对比
文章通过矩阵转置实验比较了三种实现：有银行冲突、填充和交换。在8192x8192矩阵上，有冲突的版本延迟1.10毫秒，而填充和交换版本均为0.92毫秒，性能提升约20%。这表明消除银行冲突能带来显著加速，且交换与填充在性能上相当。
交换与填充的权衡
交换技术不浪费共享内存，但实现复杂，索引映射非线性；填充技术简单易懂，但浪费内存，且若填充大小选择不当，可能破坏数据地址对齐，尤其在使用reinterpret_cast进行大块访问时。选择时需根据具体场景权衡内存与复杂度。
进一步优化方向
文章指出，当前实现仅达到RTX 3090峰值内存带宽的约65%。若假设矩阵总是填充的（通常使用cudaMallocPitch分配），则可通过向量化内存访问显著提升性能，因为每行仍满足合并访问要求。这为后续优化提供了明确方向。
Q&A
什么是CUDA共享内存银行冲突？
CUDA共享内存银行冲突是指在多个线程同时访问共享内存时，可能导致性能下降的情况。
如何处理CUDA共享内存银行冲突？
可以通过填充和交换技术来处理CUDA共享内存银行冲突。
填充技术和交换技术有什么区别？
填充技术简单易懂但会浪费共享内存，而交换技术可以避免冲突且不浪费内存，但实现较复杂。
交换技术是如何避免共享内存银行冲突的？
交换技术通过重新排列共享内存索引的映射来避免共享内存银行冲突。
在矩阵转置中，如何应用交换技术？
在矩阵转置中，使用交换技术可以避免在写入和读取共享内存时发生银行冲突。
实验结果显示不同技术的性能差异吗？
实验表明，使用交换技术的矩阵转置性能优于使用填充的实现。
