土法炼钢兴趣小组的博客 ·

【GPU 算子工程】CUTLASS 与 CuTe：模板化 GEMM 与布局代数

💡 原文中文，约4500字，阅读约需11分钟。

📝

内容提要

CUTLASS 是 NVIDIA 开源的 CUDA C++ 模板库，旨在优化 GEMM（矩阵乘法）性能。它将 GEMM 拆分为五层结构，支持多种精度和形状的配置。通过模板化设计，CUTLASS 提供高性能的可复用组件，简化布局管理。CuTe 作为统一的布局代数，提升了编程的灵活性和可维护性。

🎯

CUTLASS 是 NVIDIA 开源的 CUDA C++ 模板库，旨在优化 GEMM 性能。
CUTLASS 将 GEMM 拆分为五层结构，分别是 Device 层、Kernel 层、Threadblock 层、Warp 层和 Instruction 层。
每一层负责不同的任务，通过模板化设计，支持多种精度和形状的配置。
epilogue 组件用于在 GEMM 计算后进行结果的缩放、加 bias 和激活，避免中间结果写回显存。
CuTe 是统一的布局代数，用于描述张量的逻辑坐标如何映射到物理内存偏移，简化布局管理。
CUTLASS 提供两种使用方式：作为库直接调用或作为框架构建自定义算子。
CUTLASS 与手写 CUDA 和 cuBLAS 的关系是互补的，适用于不同的需求场景。

🔎

CUTLASS 将 GEMM 拆分为五层结构，分别对应 GPU 硬件层次。这种分层设计使得每一层可以独立优化，提升了性能和灵活性。开发者可以根据具体需求选择合适的层进行定制，避免了手动实现时的复杂性和错误风险。

CuTe 提供了一种统一的布局代数，简化了张量在不同存储层次间的映射。通过将布局运算抽象化，开发者可以更容易地管理数据布局，减少手动计算带来的错误。这对于高性能计算尤为重要，尤其是在处理复杂的矩阵运算时。

在选择使用 CUTLASS 还是 cuBLAS 时，开发者应考虑具体需求。若需要标准的 GEMM 操作，cuBLAS 是更简单的选择；而对于需要高度定制和融合的高性能算子，CUTLASS 则提供了更大的灵活性和性能潜力。

❓

CUTLASS 是 NVIDIA 开源的 CUDA C++ 模板库，旨在优化 GEMM（矩阵乘法）性能。

CUTLASS 将 GEMM 拆分为 Device 层、Kernel 层、Threadblock 层、Warp 层和 Instruction 层。

epilogue 组件用于在 GEMM 计算后进行结果的缩放、加 bias 和激活，避免中间结果写回显存。

CuTe 是统一的布局代数，用于描述张量的逻辑坐标如何映射到物理内存偏移，简化布局管理。

CUTLASS 可以作为库直接调用，或作为框架构建自定义算子。

CUTLASS 与手写 CUDA 和 cuBLAS 是互补的，适用于不同的需求场景。

🏷️