第 19 课：训练数值稳定性：Loss Spike 根因定位、分布式梯度裁剪与 z-loss
本课目标与通过标准
本课产出：掌握万卡集群超大规模预训练中保障训练长周期平稳收敛的核心稳定性工程套件。深入拆解预训练后期最严重的 Loss Spike（损失突发暴刺） 物理根因（包含 Attention Logits 漂移、Adam 二阶矩 极小引发的更新爆炸、Bad Data 批次冲击）；掌握 分布式全局梯度裁剪（Distributed Global Gradient Clipping） 在 3D 并行拓扑下的去重规约数学推导；深入掌握 QK-Norm、Router z-loss（ST-MoE / PaLM） 与 Embedding 尺度缩放的工程设计；掌握小规模代理实验（Small-scale Proxies）预测大规模训练崩溃的方法论。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿自注意力点积尺度、Adam 优化器更新步长与跨 TP/PP/DP 梯度聚合给出因果链；能指出一个正确性不变量、一个数值溢出截断边界和一个无损回滚机制；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立“梯度范数（Grad Norm）异常是如何传导并炸毁权重”的因果时序心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | Spike No More 论文源码 | 为什么仅监控单个损失值无法提前预警，必须结合更新范数与参数范数之比？ |
| 2 | PaLM 论文（arXiv:2204.02311）中的 z-loss 定义 | 为什么在 Softmax 输出项前增加 辅助项能有效锁住 Logits 范围？ |
| 3 | Megatron-LM megatron/core/optimizer/clip_grads.py |
全局梯度范数是如何跨越 TP（复制/切分参数混合）、PP 与 DP 保证严格数学精确的？ |
| 4 | ST-MoE 论文（arXiv:2202.08906）的 router z-loss | 稀疏门控网络中的浮点误差是如何在多专家路由上引起指数级发散的？ |
版本基准：论文 Spike No More arXiv:2312.16903、PaLM arXiv:2204.02311、ST-MoE arXiv:2202.08906、Small-scale proxies arXiv:2309.14322。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。