推理引擎源码与前沿优化

11 课 vLLM / SGLang 核心源码解析与端侧/具身前沿加速引擎

推理引擎源码核心线

深入工业界两大代表性 LLM 推理引擎 —— vLLM（V1 架构）与 SGLang（SRT 架构）的源码实现，拆解调度、内存管理与前沿推理算法，并进阶剖析车载/机器人端侧 TensorRT 插件体系、非自回归连续动作去噪推理引擎与端侧混合精度部署。

学习目标

1. vLLM V1 架构：AsyncLLM、EngineCore 多进程隔离与 Worker 调用链；

2. SGLang SRT 架构：Scheduler、ScheduleBatch 与 ModelRunner；

3. KV Cache 管理：PagedAttention 与 RadixAttention（Prefix Caching）原理对比；

4. 前沿技术实战：稀疏注意力、量化源码（INT4/FP8/NVFP4）与投机采样数学校验（EAGLE-3/MTP）；

5. 端侧与具身前沿引擎：掌握 TensorRT 10+ 现代 IPluginV3 插件生命周期、Diffusion/Flow Matching 连续动作流式推理引擎与端侧混合精度敏感度优化。

---

课程目录

课程名称	模块归属
推理引擎源码与前沿优化 · 第 1/11 课：vLLM V1 源码地图：AsyncLLM、EngineCore 与 Worker	云端 LLM 推理引擎源码
推理引擎源码与前沿优化 · 第 2/11 课：vLLM V1 统一调度器、KVCacheManager 与 Prefix Cache	云端 LLM 推理引擎源码
推理引擎源码与前沿优化 · 第 3/11 课：SGLang SRT 源码地图：Scheduler、ScheduleBatch 与 ModelRunner	云端 LLM 推理引擎源码
推理引擎源码与前沿优化 · 第 4/11 课：SGLang RadixAttention、内存池与 Overlap Scheduling	云端 LLM 推理引擎源码
推理引擎源码与前沿优化 · 第 5/11 课：稀疏推理：权重、MoE、Sparse Attention 与 HiSparse	前沿推理优化技术
推理引擎源码与前沿优化 · 第 6/11 课：量化源码走读：INT4、FP8、NVFP4、MXFP4 与 KV Cache	前沿推理优化技术
推理引擎源码与前沿优化 · 第 7/11 课：投机采样正确性：Draft、Target Verification 与拒绝校正	前沿推理优化技术
推理引擎源码与前沿优化 · 第 8/11 课：现代 Speculative Systems：EAGLE-3、MTP、DFlash 与 DSpark	前沿推理优化技术
推理引擎源码与前沿优化 · 第 9/11 课：端侧推理引擎源码剖析：TensorRT IPluginV3 插件体系与执行器架构	端侧与具身引擎进阶
推理引擎源码与前沿优化 · 第 10/11 课：具身智能推理引擎：Diffusion 与 Flow Matching 连续动作流式调度架构	端侧与具身引擎进阶
推理引擎源码与前沿优化 · 第 11/11 课：端侧混合精度部署：FP16/INT8/W4A8/FP4 量化对齐与延迟控制	端侧与具身引擎进阶

---

专题指南与互动体验

• KV Cache 量化交互式 Walkthrough
• KV Cache 量化教程：TurboQuant 与常用方法
• SGLang 与 vLLM 核心机制对比与前沿特性