第 16 课：投机采样工程进阶：大 Batch 收益边界、动态深度与无 Draft 模型架构
本课目标与通过标准
本课产出：掌握投机采样（Speculative Decoding）从学术算法原型走向工业级高并发在线服务系统的核心物理边界与工程设计。从 GPU 硬件 Roofline 模型 推导验证阶段（Verification）随 Batch Size 膨胀由访存受限转向算力受限的数学拐点，彻底解释“为什么小并发下加速 的投机系统在高并发下往往发生负收益（加速比 ）”；掌握 MagicDec 在长上下文大 Batch 下重新激活投机收益的机理；掌握无需外挂独立小模型的推测范式：Medusa 多头预测、Lookahead Decoding（基于 Jacobi 迭代的无模型并行解码） 与 LayerSkip（基于早退机制的自投机 Self-Speculative）；深入分析投机系统与 Continuous Batching、CUDA Graph 分桶捕获的协同。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿 GPU 硬件算术强度曲线、GEMM 算力饱和度与自回归状态机给出因果链；能指出一个正确性不变量、一个加速比跌破 1.0 的临界并发阈值和一个 CUDA Graph 分桶防退化策略；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立“硬件吞吐与单请求时延对立统一”的心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | MagicDec 仓库 Infini-AI-Lab/MagicDec 的 Engine/ |
为什么在超长上下文下，即使在较大 Batch Size 时，投机采样依然能保持显著正收益？ |
| 2 | Medusa 官方实现 medusa/model/medusa_model.py |
多个外挂预测头（Heads）是如何在不需要 Draft 模型前向的前提下单步迸发多候选树的？ |
| 3 | Lookahead Decoding 源码 lade/（Jacobi 迭代实现） |
Jacobi 迭代是如何将原本严格串行的单字生成转化为局部非自回归并行推演的？ |
| 4 | LayerSkip 官方实现 self_speculation/ |
训练时早退损失（Early Exit Loss）与推理时的自投机校验流水线如何协同？ |
| 5 | vLLM 投机调度器：vllm/v1/spec_decode/ |
动态 Batch 下，不同请求的接受长度不同，调度器如何处理物理 Block 的不对称对齐？ |
版本基准：论文 MagicDec arXiv:2408.11049、Medusa arXiv:2401.10774、Lookahead Decoding arXiv:2402.02057、LayerSkip arXiv:2404.16710；实现参考 FasterDecoding/Medusa、hao-ai-lab/LookaheadDecoding、facebookresearch/LayerSkip。
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。