お前はどこまで見えている
·
CUDA全局内存
💡
原文中文，约10300字，阅读约需25分钟。
📝
内容提要
本文介绍了CUDA内存模型和内存管理，包括寄存器、共享内存、本地内存、常量内存、纹理内存和全局内存。CUDA提供了函数来分配和释放设备内存，并且可以通过函数在主机和设备之间传输数据。此外，还介绍了统一内存、固定内存和零拷贝内存的概念和使用方法。最后，讨论了内存访问模式和内存带宽的优化方法。
🎯
关键要点
- CPU 和 GPU 的主存都采用 DRAM，低延迟内存使用 SRAM。
- CUDA 编程模型能更好地控制内存层次结构。
- CUDA 内存模型包括寄存器、共享内存、本地内存、常量内存、纹理内存和全局内存。
- 寄存器是 GPU 上运行速度最快的内存空间，生命周期与核函数相同。
- 共享内存是线程块内所有线程可见的内存，生命周期伴随线程块。
- 本地内存用于存储无法放入寄存器的变量，符合高效内存访问要求。
- 常量内存是只读的，所有线程可访问，适合广播数据。
- 纹理内存优化了对二维数据的访问，支持硬件滤波。
- 全局内存是最大且延迟最高的内存，所有线程可访问。
- CUDA 提供函数分配和释放设备内存，支持主机与设备间的数据传输。
- 统一内存是 CUDA 编程模型的组件，简化内存管理。
- 固定内存和零拷贝内存允许主机和设备共享内存，减少数据传输。
- 统一虚拟寻址（UVA）支持主机和设备共享同一虚拟地址空间。
- 内存访问模式优化是提升核函数性能的关键，需注意对齐与合并访问。
- 有效带宽是核函数实际达到的带宽，理论带宽是硬件的最大带宽。
➡️
