框架运行时、数据与性能

11 课 PyTorch 运行时底层、分布式通信与异构高频数据管线

框架运行时核心线

从应用层 PyTorch 深入到 Dispatcher 分发栈、Autograd 反向求导图、torch.compile 编译原语、分布式底层 Collective 契约，并拓展异构多模态高频数据加载（GPUDirect Storage）、跨进程共享内存（CUDA IPC）防泄漏守护与动态形状符号特化。

学习目标

  1. 理解 PyTorch Dispatcher、Autograd Engine 与自定义算子注册；

  2. 掌握 torch.compile 的 Graph Break 定位、Guard 机制与动态 Shape 优化；

  3. 掌握 Process Group、Rendezvous 握手与 Collective 拓扑成本模型；

  4. 掌握 PyTorch Profiler、CUDA Allocator 内存池管理与微秒级流水线性能排障；

  5. 掌握 GPUDirect Storage 零拷贝 DMA、CUDA IPC 跨进程生命周期安全与动态形状 Guard 膨胀抑制。

课程目录

课程名称 模块归属
框架运行时、数据与性能 · 第 1/11 课：PyTorch 执行栈、Dispatcher 与 Autograd 框架运行时底层机制
框架运行时、数据与性能 · 第 2/11 课：torch.compile：Graph Break、Guard 与动态 Shape 编译优化底层机制
框架运行时、数据与性能 · 第 3/11 课：Process Group、Rendezvous 与 Collective 契约 分布式通信运行时
框架运行时、数据与性能 · 第 4/11 课：Collective 成本模型与拓扑选择 分布式通信运行时
框架运行时、数据与性能 · 第 5/11 课：数据分片、Shuffle 与精确 Resume 数据输入流水线
框架运行时、数据与性能 · 第 6/11 课：存储→CPU→Pinned Memory→GPU 流水 数据输入流水线
框架运行时、数据与性能 · 第 7/11 课：Profiler、Timeline 与 CUDA Allocator 内存池与执行分析
框架运行时、数据与性能 · 第 8/11 课：可复现性、回归定位与性能排障 生产排障实战
框架运行时、数据与性能 · 第 9/11 课：异构多模态高频数据 Pipeline：GPUDirect Storage 与零拷贝流式加载 高性能数据与通信进阶
框架运行时、数据与性能 · 第 10/11 课：跨进程共享内存（IPC）生命周期管理与防泄漏机制 高性能数据与通信进阶
框架运行时、数据与性能 · 第 11/11 课：动态形状（Dynamic Shapes）深度处理：TorchDynamo 特化与 Guard 膨胀抑制 高性能数据与通信进阶

核心架构图稿