CUTLASS / CuTe 主线

8 课现代 GPU 模板库与 Layout 代数

CUTLASS / CuTe 核心主线

本主线深入 NVIDIA CUTLASS 3.x 与核心抽象 CuTe，学习 GPU 硬件层级演进、Tensor Core 算术强度、CuTe Layout 代数与分层 GEMM 实现。

学习目标

  1. 理解 Volta → Ampere → Hopper → Blackwell 的 Tensor Core 演进；

  2. 掌握 CuTe Layout 核心代数：Shape、Stride、坐标变换与切片；

  3. 掌握 Tiled Copy 与 Tiled MMA 的构建与使用；

  4. 理解异步数据加载（cp.async）、Shared Memory 多级流水与 Epilogue 融合。

课程目录

课程名称 模块归属
CUTLASS / CuTe 主线 · 第 1/8 课：GPU 层级、Tensor Core 与算术强度 CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 2/8 课：CuTe Layout：Shape、Stride 与坐标映射 CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 3/8 课：CuTe Tensor、视图与线程分区 CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 4/8 课：Tiled Copy、向量化与 Predication CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 5/8 课：MMA Atom、Tiled MMA 与三级 Tiling CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 6/8 课：Shared Memory 布局与异步流水 CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 7/8 课：混合精度、Accumulator 与 Epilogue CUTLASS / CuTe 主线
CUTLASS / CuTe 主线 · 第 8/8 课：Kernel 组合、Dispatch 与 Profiling CUTLASS / CuTe 主线

核心架构图解