文章分析 DeepSeek-V4.1 的 Single-Pass mHC 优化：mHC 开销主要在访存而非计算，下界为 (2n+2)d，V4 实现达两倍。V4.1 让读算子改用上一子层算好的权重，将残差更新、输入混合、系数预测合并为一遍，访存量从 20d 降至 10d，减半。代码有三处变化，训练需从头使用新式，部署用 Mega-mHC kernel。
DeepSeek-V4模型采用混合压缩注意力（mHC），将KV缓存分为状态缓存和分页缓存，分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-gather处理跨rank压缩窗口。磁盘前缀缓存中，压缩条目易存，滑窗KV需重算或周期检查点。mHC通过融合内核、重算和DualPipe优化，将访存开销压至6.7%。
本文讨论了GPU访存优化的两个关键问题：合并访问和bank冲突。合并访问通过相邻线程访问相邻地址来提高带宽，而bank冲突是多个线程访问同一bank导致的性能下降。使用padding和向量化技术可以进一步提升带宽利用率。在矩阵转置操作中，使用shared memory可以有效解决访存模式问题。
GPU 存储分为五级：寄存器、共享内存、L2 缓存、全局内存和主机内存。优化访存的关键在于将频繁使用的数据保留在更高层级。寄存器和共享内存是最快的存储，L2 命中带宽是 DRAM 的八倍。算子的复用率影响性能，优化访存需关注数据流和复用。接下来将介绍如何编写 CUDA kernel，为访存与计算优化奠定基础。
完成下面两步后，将自动完成登录并继续当前操作。
