第 15 课：大模型强化学习训推一体化系统：放置策略、HybridFlow 的 3D-HybridEngine 与跨拓扑 Resharding
本课目标与通过标准
本课产出：掌握大模型强化学习（PPO / GRPO）系统工程中训推异构执行流与显存交接的底层核心机制。深入分析物理分离集群（Disaggregated）与物理共置集群（Colocated）在显存利用率、同步时延与算力碎片化上的根本权衡；掌握 HybridFlow 框架及其 3D-HybridEngine（verl 的核心系统） 的多网格统一编排；掌握 跨拓扑权重重切分（Cross-Mesh Resharding） 的张量切片映射算法，掌握基于 NVLink / CUDA IPC 的 P2P 零拷贝权重同步以及内存休眠/换入换出（Sleep/Wakeup Protocol）。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿真实的显存分配器池、NCCL 通信通道与分布式张量分片给出因果链；能指出一个正确性不变量、一个死锁临界条件和一个网络同步延迟精算指标；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立训练引擎与推理引擎交替掌控显存所有权的状态机心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | verl verl/workers/rollout/vllm_rollout/（推理引擎封装与显存交接） |
推理引擎在完成采样后，如何释放物理 KV 内存池将显存归还训练 Actor？ |
| 2 | verl verl/single_controller/base/worker_group.py |
单一控制器如何通过多角色网格（Mesh）在 Megatron 训练与 vLLM 推理之间重排权重？ |
| 3 | OpenRLHF openrlhf/trainer/ppo_utils/（经验生成与调度） |
Ray 调度器在分离式与共置式部署下如何协调 Actor、Critic、Reference 进程？ |
| 4 | slime slime/backends/megatron_utils/（权重切分与同步） |
训练 TP×PP 切片如何不通过全量 Gather，以最小通信步直达推理 TP 显存？ |
版本基准：论文 HybridFlow/verl arXiv:2409.19256、OpenRLHF arXiv:2405.11143；实现参考 volcengine/verl、OpenRLHF/OpenRLHF、THUDM/slime。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。