第 17 课：训练框架工程实操：Megatron-Core 体系与 torchtitan 架构解耦
本课目标与通过标准
本课产出：掌握工业级千卡/万卡大模型训练系统的工程骨架。深入拆解 Megatron-Core（MCore） 的多维进程组（ProcessGroup）构建逻辑、Distributed Optimizer（分布式优化器）的通信-计算重叠流水线与 Async TP（异步张量并行）；深入理解 PyTorch 原生训练方案 torchtitan 的 Composable 架构设计，掌握基于 DeviceMesh、DTensor 与 fully_shard（FSDP2）的无缝全图编译（torch.compile）与分布式检查点（DCP）异步落盘。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿真实的 GPU Rank 拓扑坐标、通信缓冲队列（Bucket）与计算图 IR 给出因果链；能指出一个正确性不变量、一个通信拓扑临界瓶颈和一个必须依赖真实集群 Profile 才能确认的超参数边界；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立“高维网格坐标映射”的心智模型，不要被复杂的类继承树迷惑：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | Megatron-LM megatron/core/parallel_state.py：initialize_model_parallel |
全局 Rank 是如何按 order（默认 tp-cp-ep-dp-pp）分解映射为局部通信组的？ |
| 2 | Megatron-LM megatron/core/optimizer/distrib_optimizer.py |
优化器状态如何切分？梯度 Reduce-Scatter 与参数 All-Gather 如何与反向/前向重叠？ |
| 3 | torchtitan torchtitan/train.py（并行化与训练入口） |
原生 PyTorch 模块如何通过 Composable API 无侵入挂载并行策略与 DTensor 分片？ |
| 4 | torchtitan torchtitan/components/checkpointer/（DCP 实现） |
分布式检查点（DCP）如何摆脱以往单卡存全量或死锁的传统缺陷实现异步秒级持久化？ |
版本基准：Megatron-Core 版本标签 core_v0.7.0；论文 TorchTitan arXiv:2410.06511；实现参考 NVIDIA/Megatron-LM、pytorch/torchtitan。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。