第 17 课：过程奖励建模与规则验证器：PRM、代码沙箱与 Reward Hacking 防御
本课目标与通过标准
本课产出：掌握强化学习在大模型复杂多步推理（Mathematical Proof & Code Generation）中的奖励评估系统（Reward System）工程落地全景。深入分析结果奖励模型（Outcome RM / ORM）与 过程奖励模型（Process Reward Model / PRM） 的核心优劣；掌握 Math-Shepherd 自动化生成逐步过程标签的蒙特卡洛（MCTS）树搜索思想；掌握代码与符号规则验证器（Rule-based Verifier）的构建与高并发沙箱隔离调度；深入推导并防御三大典型 Reward Hacking（奖励黑客 / 奖励作弊） 现象（长度偏置 Length Exploitation、格式套利 Format Gaming 与测试用例投机）。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿多步推理马尔可夫链、确定性沙箱隔离容器与惩罚项损失函数给出因果链；能指出一个正确性不变量、一个沙箱安全逃逸漏洞和一个长度偏置抵消约束；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立“奖励信号如何作为物理梯度塑形方向”的心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | 论文 Let’s Verify Step by Step（arXiv:2305.20050）与 PRM800K 数据集 | 为什么人工标注每个推理推导步骤（Step-level）能够显著抑制蒙混过关的逻辑伪造？ |
| 2 | Math-Shepherd 论文算法设计 | 如何利用最终结果标签自动倒推每个中间步骤的通过率（Rollout Pass Rate）？ |
| 3 | DeepSeek-R1 纯规则验证系统 | 为什么在数学与推理大模型对齐中，彻底抛弃神经网络奖励模型转向纯确定性规则判定？ |
| 4 | SWE-agent 仓库 princeton-nlp/SWE-agent 的沙箱执行环境 |
代码执行沙箱如何防范模型输出恶意系统调用并保证判题环境的毫秒级高并发拉起？ |
版本基准：论文 PRM800K arXiv:2305.20050、Math-Shepherd arXiv:2312.08935、DeepSeek-R1 arXiv:2501.12948、SWE-agent arXiv:2405.15793。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。