具身 / 端侧专题(选修)
10 课:具身智能、自动驾驶与端侧部署的算子、引擎与训练系统
具身 / 端侧专题(选修)
这一组课程面向具身智能、自动驾驶与端侧部署方向。它们与 LLM 训练/推理主线共享同一套底层方法(线程映射、算子融合、通信、并行),但业务场景、硬件约束与评估方式不同,因此单独成组。
如果你面的是通用 AI Infra(训练框架、推理引擎、算子、集群)岗位,主线课程已经覆盖;这 10 课属于按需选修。如果你的目标岗位是具身/自驾/端侧,这组课反而应该优先。
课程目录
| 课号 | 课程 | 归属主线 | 为什么选修 |
|---|---|---|---|
| CUDA 第 15 课:具身智能连续动作生成算子 | Diffusion Policy 与 Flow Matching 去噪求解器 | CUDA Kernel | 面向动作生成,不是 LLM 算子 |
| CUDA 第 16 课:3D 点云体素化与空间聚合算子 | 点云体素化(Voxelization) | CUDA Kernel | 自驾感知专用 |
| CUDA 第 17 课:硬件感知量化:QAT 伪量化 | FakeQuant、STE 与对称/非对称量化 | CUDA Kernel | 训练侧量化,与推理量化路线不同 |
| 推理第 9 课:TensorRT IPluginV3 插件体系 | 插件生命周期与执行器架构 | 推理引擎 | 端侧部署专用 |
| 推理第 10 课:Diffusion 与 Flow Matching 流式调度 | 连续动作流式推理引擎 | 推理引擎 | 具身推理专用 |
| 推理第 11 课:端侧混合精度部署 | FP16/INT8/W4A8/FP4 对齐与延迟控制 | 推理引擎 | 车载/机器人功耗与降频约束 |
| 训练第 15 课:异构 5D 并行:VLA 跨 Mesh 拓扑 | Cross-Mesh Resharding | 训练系统 | 多模态 VLA 专用拓扑 |
| 训练第 16 课:非均质流水线调度 | 多频异构 1F1B 与气泡消除 | 训练系统 | 具身多频控制流专用 |
| RL 第 13 课:连续动作空间 RL 系统 | 高斯/Beta 策略、动作平滑惩罚 | 强化学习 | 真机控制,不是 token 级 MDP |
| RL 第 14 课:真机与仿真混合回传飞轮 | 向量化仿真与 Sim-to-Real 闭环 | 强化学习 | 具身数据飞轮专用 |
阅读顺序建议
- 只做算子:CUDA 15 → 16 → 17
- 只做端侧部署:推理 9 → 11 → 10
- 只做具身训练/后训练:训练 15 → 16 → RL 13 → 14
- 完整走一遍:按上表顺序,先算子、再引擎、再训练、最后 RL
与主线的关系
这些课在正文里会引用主线的前置知识(如 CUDA 第 1~10 课的线程模型、训练第 1~11 课的显存账本与并行切分)。如果前置不熟,先回主线补,再回来读这一组。
MLIR 编译器的 8 课也已归入选修,见 MLIR 编译器(选修)。它面向编译器/框架方向的岗位,学 kernel 与推理引擎的读者可以跳过。