具身 / 端侧专题(选修)

10 课:具身智能、自动驾驶与端侧部署的算子、引擎与训练系统

具身 / 端侧专题(选修)

这一组课程面向具身智能、自动驾驶与端侧部署方向。它们与 LLM 训练/推理主线共享同一套底层方法(线程映射、算子融合、通信、并行),但业务场景、硬件约束与评估方式不同,因此单独成组。

如果你面的是通用 AI Infra(训练框架、推理引擎、算子、集群)岗位,主线课程已经覆盖;这 10 课属于按需选修。如果你的目标岗位是具身/自驾/端侧,这组课反而应该优先。

课程目录

课号 课程 归属主线 为什么选修
CUDA 第 15 课:具身智能连续动作生成算子 Diffusion Policy 与 Flow Matching 去噪求解器 CUDA Kernel 面向动作生成,不是 LLM 算子
CUDA 第 16 课:3D 点云体素化与空间聚合算子 点云体素化(Voxelization) CUDA Kernel 自驾感知专用
CUDA 第 17 课:硬件感知量化:QAT 伪量化 FakeQuant、STE 与对称/非对称量化 CUDA Kernel 训练侧量化,与推理量化路线不同
推理第 9 课:TensorRT IPluginV3 插件体系 插件生命周期与执行器架构 推理引擎 端侧部署专用
推理第 10 课:Diffusion 与 Flow Matching 流式调度 连续动作流式推理引擎 推理引擎 具身推理专用
推理第 11 课:端侧混合精度部署 FP16/INT8/W4A8/FP4 对齐与延迟控制 推理引擎 车载/机器人功耗与降频约束
训练第 15 课:异构 5D 并行:VLA 跨 Mesh 拓扑 Cross-Mesh Resharding 训练系统 多模态 VLA 专用拓扑
训练第 16 课:非均质流水线调度 多频异构 1F1B 与气泡消除 训练系统 具身多频控制流专用
RL 第 13 课:连续动作空间 RL 系统 高斯/Beta 策略、动作平滑惩罚 强化学习 真机控制,不是 token 级 MDP
RL 第 14 课:真机与仿真混合回传飞轮 向量化仿真与 Sim-to-Real 闭环 强化学习 具身数据飞轮专用

阅读顺序建议

  • 只做算子:CUDA 15 → 16 → 17
  • 只做端侧部署:推理 9 → 11 → 10
  • 只做具身训练/后训练:训练 15 → 16 → RL 13 → 14
  • 完整走一遍:按上表顺序,先算子、再引擎、再训练、最后 RL

与主线的关系

这些课在正文里会引用主线的前置知识(如 CUDA 第 1~10 课的线程模型、训练第 1~11 课的显存账本与并行切分)。如果前置不熟,先回主线补,再回来读这一组。

MLIR 编译器的 8 课也已归入选修,见 MLIR 编译器(选修)。它面向编译器/框架方向的岗位,学 kernel 与推理引擎的读者可以跳过。