第 6 课：价值损失、熵与多目标优化

参考答案版：包含完整代码实现与问答题深度参考解析。建议先独立完成练习题后再展开核对。

本课目标与完成标准

学完后你应能：组合 policy/value/entropy 三项损失，并解释每项的梯度方向与量纲。

通过必须同时满足：

独立补齐本课唯一的代码填空题，并通过给定检查；
三个问答题均说明因果链，而不是只报术语；
能指出至少一个正确性边界和一个性能取舍；
总分不低于 8/10，且没有一票否决级概念错误。

前置关系

课程前置：Python、概率期望、基本深度学习
本课在路线中的作用：Actor-Critic 通常同时优化策略目标、价值回归和熵奖励；三者共享参数时是多目标优化。

核心心智模型

1. 它是什么，解决什么问题

在现代深度强化学习（尤其是 Actor-Critic 与 PPO）架构中，智能体通常需要在单一计算图中同时优化三个性质迥异、量纲不一且往往相互博弈的子目标：

策略代理收益（Policy Objective, $\mathcal{J}_{\text{CLIP}}$ ）：驱动 Actor 参数向高优势动作方向移动，目标是最大化期望累积回报；
价值拟合均方差（Value Loss, $\mathcal{L}_{\text{VF}}$ ）：拟合真实采样回报（Return / TD 目标），目标是最小化状态价值预估误差，为 Actor 提供高质量的基线与优势估计；
策略信息熵奖励（Policy Entropy, $\mathcal{H}$ ）：衡量动作分布的多样性，目标是最大化策略熵，防止神经网络因随机初始采样而在训练早期过早陷入局部次优的确定性死锁（Exploration Collapse）。

它解决的核心工程问题是：多目标梯度的量纲失衡（Dimensional Mismatch）、符号冲突与表征竞争（Negative Gradient Interference）。策略损失、均方误差（通常是标量平方，数值尺度极大）与信息熵（通常在 $[0, \log|\mathcal{A}|]$ 区间）在量纲上完全异质。如果损失组合符号颠倒或权重配置失衡，会导致价值拟合彻底淹没策略更新，或者策略丧失探索能力。

2. 它如何工作

联合损失函数结构与探索度退火生命周期如图 6-1 与图 6-2 所示：

标量化联合损失构造（图 6-1）：

flowchart TD
    subgraph MultiObjective["Actor-Critic 联合优化损失函数"]
        L_clip["策略损失: L_CLIP(θ) [最大化期望回报]"]
        L_vf["价值损失: c_1 * L_VF(θ) [最小化均方误差]"]
        L_ent["策略熵奖励: c_2 * S[π_θ] [防止过早收敛/促进探索]"]
    end
    L_clip --> Total["总损失: L = - L_CLIP + c_1 * L_VF - c_2 * S"]
    L_vf --> Total
    L_ent --> Total

图 6-1：策略、价值与信息熵三合一多任务优化空间

由于主流深度学习框架（PyTorch / JAX）的优化器默认执行梯度下降（Gradient Descent: $\theta \leftarrow \theta - \eta \nabla \mathcal{L}$ ），所有需要最大化的目标在输入优化器前必须反转为负损失： - 策略收益 $\mathcal{J}_{\text{policy}}$ 需要被最大化 $\implies$ 转换为负项 $-\mathcal{J}_{\text{policy}}$ ； - 价值均方误差 $\mathcal{L}_{\text{value}}$ 需要被最小化 $\implies$ 转换为正项 $+ c_v \mathcal{L}_{\text{value}}$ ； - 信息熵 $\mathcal{H}(\pi)$ 需要被最大化 $\implies$ 转换为负项 $- c_e \mathcal{H}(\pi)$ ；标准标量化联合损失定义为： $\mathcal{L}_{\text{total}}(\theta) = - \mathcal{J}_{\text{policy}}(\theta) + c_v \mathcal{L}_{\text{value}}(\theta) - c_e \mathcal{H}(\pi_\theta)$ 其中 $c_v$ （通常取 0.5～1.0）为价值损失权重， $c_e$ （通常取 0.01～0.001）为熵正则化系数。

探索度动态退火机制（图 6-2）：

flowchart LR
    Early["训练前期: 熵权重大 ➔ 探索未知状态空间"] --> Middle["训练中期: 策略趋于稳定 ➔ 熵系数线性衰减"]
    Middle --> Late["训练后期: 价值误差逼近极小 ➔ 确定性微调策略收敛"]

图 6-2：强化学习训练过程中策略熵与探索度的动态退火轨迹

初期（高熵探索）：配置较高的 $c_e$ ，强力约束 Softmax 分布趋向均匀分布，迫使智能体积极探索低频状态与未知动作空间；
中期（线性衰减）：随着 Critic 价值函数逐渐拟合稳定，逐步衰减 $c_e$ ，允许策略网络开始向高回报动作倾斜；
后期（确定性微调）： $c_e \to 0$ ，策略熵自然下降，模型专注于最优策略的微调收敛，杜绝持续的高熵扰动破坏稳定表现。

PPO 价值裁剪（Value Function Clipping）：为了防止 Critic 在小批次迭代中因非平稳回报产生灾难性更新，通常对价值函数也施加类似于策略比率的悲观裁剪： $\mathcal{L}_{\text{VF}}^{\text{CLIP}} = \frac{1}{2} \max \left( (V_\theta - y)^2, \, \left( V_{\text{old}} + \text{clip}(V_\theta - V_{\text{old}}, -\epsilon_v, \epsilon_v) - y \right)^2 \right)$ 确保价值网络同样在受控的信任域内渐进演变。

3. 正确性条件与常见误区

熵符号反转导致“主动扼杀探索”（Entropy Sign Bug）：极易发生的灾难性错误是在总损失中将熵项写为加号：loss = -policy + c_v * value + c_e * entropy。在梯度下降驱动下，优化器会全力最小化策略熵，在训练的第 1 个 Epoch 内就强行将动作概率推向单点 Dirac 分布，造成策略彻底锁死和多样性不可逆归零。
Total Loss 虚假收敛陷阱：在工程监控看板中，绝对不能仅观察 total_loss。因为价值回归损失 $\mathcal{L}_{\text{value}}$ 的绝对数值通常比策略损失大 1～2 个数量级。当 Critic 网络从随机初值快速拟合时，Value Loss 会从数十骤降至接近零，带动 Total Loss 呈现极为漂亮的断崖式下降曲线；而此时策略网络可能正在发生崩溃（Reward 暴跌）。必须对 Policy Loss、Value Loss、Entropy 和 Episode Return 进行完全解耦的独立指标监控。
离散熵与连续微分熵的量纲陷阱：离散动作分布的香农熵 $\mathcal{H} = -\sum p \log p$ 恒为非负数（ $0 \le \mathcal{H} \le \log K$ ）；而连续高斯策略的微分熵（Differential Entropy）公式为 $\mathcal{H} = \frac{1}{2} \log(2\pi e \sigma^2)$ 。当动作标准差 $\sigma < \frac{1}{\sqrt{2\pi e}} \approx 0.242$ 时，微分熵会变为负数！若直接将用于离散环境的固定熵系数复制到连续控制任务中，负熵项会异化为对网络缩减方差的额外惩罚，导致策略方差无法正常收缩。

4. 性能与工程取舍

共享骨干（Shared Backbone）vs 独立双塔（Separate Networks）：
- 共享骨干：Actor 与 Critic 共享底层特征抽取层（如视觉 ResNet 或文本 Transformer），仅在最后一层分立不同的 Head。显存占用极小，Rollout 推理吞吐高；但在多任务反向传播时，Policy 梯度与 Value 梯度频繁在共享层发生破坏性正交冲突；
- 独立双塔：Actor 与 Critic 各自维护独立的物理网络。彻底消除了多任务负迁移冲突，调参极为鲁棒；代价是参数量和前向显存直接翻倍。现代超大规模模型对齐（如 DeepSeek-R1 / RLHF）普遍倾向于独立双塔架构。
熵系数的自适应动态调节（SAC 式自动化）：固定熵系数难以兼顾复杂任务的各个阶段。高级算法（如 SAC）将熵作为对偶变量（Dual Variable），设定目标最低期望熵 $\bar{\mathcal{H}}$ ，通过拉格朗日乘子自动梯度调节温度系数 $\alpha$ ，在探索与利用间实现免调参自适应平衡。

具体演示：标量化损失的代数核算

设当前 Mini-batch 评估出的未加权分量指标如下：

策略代理收益： $\mathcal{J}_{\text{policy}} = 0.2$ （希望最大化此项）
价值均方损失： $\mathcal{L}_{\text{value}} = 0.8$ （希望最小化此项）
策略信息熵： $\mathcal{H} = 0.5$ （希望最大化此项）
超参数配置：价值系数 $c_v = 0.5$ ，熵系数 $c_e = 0.01$

代入标准最小化联合损失公式： $\mathcal{L}_{\text{total}} = - \mathcal{J}_{\text{policy}} + c_v \mathcal{L}_{\text{value}} - c_e \mathcal{H} = -0.2 + (0.5 \times 0.8) - (0.01 \times 0.5) = -0.2 + 0.4 - 0.005 = 0.195$ 计算结果严格等于 0.195。在反向传播时，优化器将同时推动策略收益增加、价值误差降低、策略熵升高。

实践任务：唯一代码填空题

补齐最小化形式的总损失。

规则：只能修改 TODO/______ 所在位置；不要删除断言或放宽误差。代码注释说明了每个边界条件。

Code

def actor_critic_loss(policy_objective, value_loss, entropy, value_coef, entropy_coef):
    """policy_objective 是要最大化的量。"""
    # TODO：只补齐下面这个表达式。
    return ______

assert abs(actor_critic_loss(.2, .8, .5, .5, .01) - .195) < 1e-12

检查方法

运行本单元格；所有 assert 必须通过。另手工构造一个边界输入，解释预期结果。

提交时请给出：补齐后的代码、实际运行输出（环境不可用时注明“仅静态审查”）以及对失败用例的解释。

Q1

不要背定义：请从输入、状态变化和输出三个阶段解释“价值损失、熵与多目标优化”的工作机制。

你的答案：

Q2

total loss 下降但策略 reward 下降，为什么不矛盾？

你的答案：

Q3

离散动作和高维连续动作的 entropy 数值能直接用同一系数吗？

你的答案：

评分与通过规则

代码 4 分：正常输入 2 分，边界输入 1 分，解释实现 1 分；
Q1～Q3 各 2 分；
一票否决：结果碰巧正确但核心因果链错误、删除边界检查、把未运行结果说成实测。

需要提示时按四级机制请求：概念区域 → 具体方向 → 关键局部 → 完整答案。

💡 点击展开参考答案与详细代码实现

参考答案（仅 answer 分支）

先完成题目再核对。即使代码一致，也要能解释关键步骤，并尝试更换一个输入规模。

Code

def actor_critic_loss(policy_objective, value_loss, entropy, value_coef, entropy_coef):
    """policy_objective 是要最大化的量。"""
    # 参考实现：表达式直接对应上文不变量。
    return -policy_objective + value_coef * value_loss - entropy_coef * entropy

assert abs(actor_critic_loss(.2, .8, .5, .5, .01) - .195) < 1e-12

Q1 参考答案

输入阶段（多源指标汇聚与权重超参配置）：输入由 Actor 策略分支计算出的策略代理收益标量 $\mathcal{J}_{\text{policy}}$ （待最大化）、Critic 价值分支评估出的均方差误差 $\mathcal{L}_{\text{value}}$ （待最小化）、动作概率分布计算出的香农熵或微分熵标量 $\mathcal{H}$ （待最大化），以及人为配置或自适应退火的平衡超参数：价值损失系数 $c_v$ 与熵正则系数 $c_e$ 。
状态变化阶段（标量化合成与多任务反向传播）：
- 优化器符号对齐：为了适配梯度下降优化器的底层减法逻辑（ $\theta \leftarrow \theta - \eta \nabla \mathcal{L}$ ），将希望最大化的项取负、希望最小化的项保留正号，合成单标量总损失 $\mathcal{L}_{\text{total}} = -\mathcal{J}_{\text{policy}} + c_v \mathcal{L}_{\text{value}} - c_e \mathcal{H}$ ；
- 共享表征空间梯度合成：在共享 Backbone 参数上，三个任务的梯度矢量进行线性叠加 $\nabla_\theta \mathcal{L}_{\text{total}} = -\nabla \mathcal{J}_\pi + c_v \nabla \mathcal{L}_V - c_e \nabla \mathcal{H}$ 。通过合理调节 $c_v$ 和 $c_e$ ，防止绝对数值较大的均方差梯度主导网络更新方向。
输出阶段（平衡演化与退火收敛）：输出更新后的联合模型权重 $\theta$ 。在保证 Critic 预测精度的同时，驱动策略概率持续向正优势动作演变，并借助熵正则防止模型过早陷入局部次优策略，实现训练动态从激进探索向平稳收敛的渐进过渡。

Q2 参考答案

Total Loss 持续下降而真实环境回报（Episode Reward）反而持续恶化，在多任务深度强化学习中是极其常见且完全合理的现象，因果剖析如下：

量纲主导掩盖（Scale Domination）：价值回归损失 $\mathcal{L}_{\text{value}} = (V(s) - y)^2$ 通常比无量纲的策略代理损失 $\mathcal{J}_{\text{policy}}$ 大几个数量级（例如 Value 损失为 20.0，而 Policy 损失仅为 0.05）。在训练初期，Critic 网络拟合速度极快，Value 损失迅速从 20.0 跌到 1.0，带动 Total Loss 呈现极为显著的下降态势；
负向迁移与表征破坏（Gradient Interference）：若 Actor 与 Critic 共享特征提取层，Value 损失的巨大梯度会以压倒性优势重新塑造共享层的权重空间，破坏了此前对动作决策至关重要的语义特征，导致策略分支输出的动作概率分布发生恶化，进而引发实际 Rollout 表现暴跌；
优化目标与环境现实脱节：策略代理损失 $\mathcal{J}_{\text{policy}}$ 是基于已采样的旧分布计算的局部代数近似。若策略由于参数更新剧烈漂移或者发生了 Reward Hacking，虽然在当前批次上代数损失看似在降低，但在真实环境中的泛化性能可能已彻底崩溃。因此工程上必须单独记录未加权的各个分量损失。

Q3 参考答案

绝对不能直接复用同一个熵系数，甚至不能用相同的量纲去理解，二者存在本质的数学与物理维度鸿沟：

数学定义与取值域截然不同：
- 离散动作空间（Shannon 熵）：定义为 $\mathcal{H} = -\sum_{i=1}^K p_i \log p_i$ 。其值域严格落在 $[0, \log K]$ 区间内，且恒为非负数（Non-negative）。在离散任务中，熵系数 $c_e$ （如 0.01）乘以正熵，能够稳定地提供一个幅度受控的正向探索奖励；
- 高维连续动作空间（微分熵 Differential Entropy）：通常假设动作服从多元高斯分布 $\mathcal{N}(\mu, \Sigma)$ ，其微分熵公式为 $\mathcal{H} = \frac{1}{2} \log \left( (2\pi e)^d |\Sigma| \right)$ 。微分熵不是概率度量，而是相对概率密度的几何测度，其数值完全可以为负数（当协方差较小时趋向 $-\infty$ ）！
维度放大效应（Dimensionality Scaling）：微分熵随着连续动作维度 $d$ 呈线性倍数放大（ $d \log \sigma$ ）。在 20 维的机械臂控制任务中，若标准差缩小到 $\sigma = 0.1$ ，微分熵约为 $20 \times \ln(0.1 \sqrt{2\pi e}) \approx -18.7$ 。
严重后果与工程对策：若将离散动作的 $c_e = 0.01$ 盲目应用到高维连续控制中，负几十的巨大负熵被乘上系数后，会在损失中产生高达 $+0.2$ 的额外惩罚，严重干扰策略梯度的正常回传。连续控制中通常采用极小的熵系数（如 $10^{-4}$ ），或者像 SAC 算法一样将熵约束设为自适应可学习的拉格朗日乘子。

参考资料

资料用于建立事实基线；面试回答仍需用自己的语言组织。

← 上一课
第 5 课：PPO 下一课 →
第 7 课：DQN

--- title: "第 6 课：价值损失、熵与多目标优化" jupyter: python3 --- ::: {.callout-note appearance="simple"} **参考答案版**：包含完整代码实现与问答题深度参考解析。建议先独立完成练习题后再展开核对。 ::: ## 本课目标与完成标准学完后你应能：组合 policy/value/entropy 三项损失，并解释每项的梯度方向与量纲。通过必须同时满足： - 独立补齐本课唯一的代码填空题，并通过给定检查； - 三个问答题均说明因果链，而不是只报术语； - 能指出至少一个正确性边界和一个性能取舍； - 总分不低于 8/10，且没有一票否决级概念错误。 ## 前置关系 - 课程前置：Python、概率期望、基本深度学习 - 本课在路线中的作用：Actor-Critic 通常同时优化策略目标、价值回归和熵奖励；三者共享参数时是多目标优化。 ## 核心心智模型 ### 1. 它是什么，解决什么问题在现代深度强化学习（尤其是 Actor-Critic 与 PPO）架构中，智能体通常需要在单一计算图中同时优化三个性质迥异、量纲不一且往往相互博弈的子目标： 1. **策略代理收益（Policy Objective, $\mathcal{J}_{\text{CLIP}}$）**：驱动 Actor 参数向高优势动作方向移动，目标是**最大化**期望累积回报； 2. **价值拟合均方差（Value Loss, $\mathcal{L}_{\text{VF}}$）**：拟合真实采样回报（Return / TD 目标），目标是**最小化**状态价值预估误差，为 Actor 提供高质量的基线与优势估计； 3. **策略信息熵奖励（Policy Entropy, $\mathcal{H}$）**：衡量动作分布的多样性，目标是**最大化**策略熵，防止神经网络因随机初始采样而在训练早期过早陷入局部次优的确定性死锁（Exploration Collapse）。它解决的核心工程问题是：**多目标梯度的量纲失衡（Dimensional Mismatch）、符号冲突与表征竞争（Negative Gradient Interference）**。策略损失、均方误差（通常是标量平方，数值尺度极大）与信息熵（通常在 $[0, \log|\mathcal{A}|]$ 区间）在量纲上完全异质。如果损失组合符号颠倒或权重配置失衡，会导致价值拟合彻底淹没策略更新，或者策略丧失探索能力。 ### 2. 它如何工作联合损失函数结构与探索度退火生命周期如图 6-1 与图 6-2 所示： 1. **标量化联合损失构造（图 6-1）**： ```{mermaid} flowchart TD subgraph MultiObjective["Actor-Critic 联合优化损失函数"] L_clip["策略损失: L_CLIP(θ) [最大化期望回报]"] L_vf["价值损失: c_1 * L_VF(θ) [最小化均方误差]"] L_ent["策略熵奖励: c_2 * S[π_θ] [防止过早收敛/促进探索]"] end L_clip --> Total["总损失: L = - L_CLIP + c_1 * L_VF - c_2 * S"] L_vf --> Total L_ent --> Total ``` 图 6-1：策略、价值与信息熵三合一多任务优化空间 由于主流深度学习框架（PyTorch / JAX）的优化器默认执行**梯度下降**（Gradient Descent: $\theta \leftarrow \theta - \eta \nabla \mathcal{L}$），所有需要最大化的目标在输入优化器前必须反转为**负损失**： - 策略收益 $\mathcal{J}_{\text{policy}}$ 需要被最大化 $\implies$ 转换为负项 $-\mathcal{J}_{\text{policy}}$； - 价值均方误差 $\mathcal{L}_{\text{value}}$ 需要被最小化 $\implies$ 转换为正项 $+ c_v \mathcal{L}_{\text{value}}$； - 信息熵 $\mathcal{H}(\pi)$ 需要被最大化 $\implies$ 转换为负项 $- c_e \mathcal{H}(\pi)$；标准标量化联合损失定义为： $$ \mathcal{L}_{\text{total}}(\theta) = - \mathcal{J}_{\text{policy}}(\theta) + c_v \mathcal{L}_{\text{value}}(\theta) - c_e \mathcal{H}(\pi_\theta) $$ 其中 $c_v$（通常取 0.5～1.0）为价值损失权重，$c_e$（通常取 0.01～0.001）为熵正则化系数。 2. **探索度动态退火机制（图 6-2）**： ```{mermaid} flowchart LR Early["训练前期: 熵权重大 ➔ 探索未知状态空间"] --> Middle["训练中期: 策略趋于稳定 ➔ 熵系数线性衰减"] Middle --> Late["训练后期: 价值误差逼近极小 ➔ 确定性微调策略收敛"] ``` 图 6-2：强化学习训练过程中策略熵与探索度的动态退火轨迹 - **初期（高熵探索）**：配置较高的 $c_e$，强力约束 Softmax 分布趋向均匀分布，迫使智能体积极探索低频状态与未知动作空间； - **中期（线性衰减）**：随着 Critic 价值函数逐渐拟合稳定，逐步衰减 $c_e$，允许策略网络开始向高回报动作倾斜； - **后期（确定性微调）**：$c_e \to 0$，策略熵自然下降，模型专注于最优策略的微调收敛，杜绝持续的高熵扰动破坏稳定表现。 3. **PPO 价值裁剪（Value Function Clipping）**：为了防止 Critic 在小批次迭代中因非平稳回报产生灾难性更新，通常对价值函数也施加类似于策略比率的悲观裁剪： $$ \mathcal{L}_{\text{VF}}^{\text{CLIP}} = \frac{1}{2} \max \left( (V_\theta - y)^2, \, \left( V_{\text{old}} + \text{clip}(V_\theta - V_{\text{old}}, -\epsilon_v, \epsilon_v) - y \right)^2 \right) $$ 确保价值网络同样在受控的信任域内渐进演变。 ### 3. 正确性条件与常见误区 - **熵符号反转导致“主动扼杀探索”（Entropy Sign Bug）**：极易发生的灾难性错误是在总损失中将熵项写为加号：`loss = -policy + c_v * value + c_e * entropy`。在梯度下降驱动下，优化器会全力**最小化策略熵**，在训练的第 1 个 Epoch 内就强行将动作概率推向单点 Dirac 分布，造成策略彻底锁死和多样性不可逆归零。 - **Total Loss 虚假收敛陷阱**：在工程监控看板中，**绝对不能仅观察 `total_loss`**。因为价值回归损失 $\mathcal{L}_{\text{value}}$ 的绝对数值通常比策略损失大 1～2 个数量级。当 Critic 网络从随机初值快速拟合时，Value Loss 会从数十骤降至接近零，带动 Total Loss 呈现极为漂亮的断崖式下降曲线；而此时策略网络可能正在发生崩溃（Reward 暴跌）。必须对 Policy Loss、Value Loss、Entropy 和 Episode Return 进行完全解耦的独立指标监控。 - **离散熵与连续微分熵的量纲陷阱**：离散动作分布的香农熵 $\mathcal{H} = -\sum p \log p$ 恒为非负数（$0 \le \mathcal{H} \le \log K$）；而连续高斯策略的微分熵（Differential Entropy）公式为 $\mathcal{H} = \frac{1}{2} \log(2\pi e \sigma^2)$。当动作标准差 $\sigma < \frac{1}{\sqrt{2\pi e}} \approx 0.242$ 时，微分熵会变为**负数**！若直接将用于离散环境的固定熵系数复制到连续控制任务中，负熵项会异化为对网络缩减方差的额外惩罚，导致策略方差无法正常收缩。 ### 4. 性能与工程取舍 - **共享骨干（Shared Backbone）vs 独立双塔（Separate Networks）**： - **共享骨干**：Actor 与 Critic 共享底层特征抽取层（如视觉 ResNet 或文本 Transformer），仅在最后一层分立不同的 Head。显存占用极小，Rollout 推理吞吐高；但在多任务反向传播时，Policy 梯度与 Value 梯度频繁在共享层发生破坏性正交冲突； - **独立双塔**：Actor 与 Critic 各自维护独立的物理网络。彻底消除了多任务负迁移冲突，调参极为鲁棒；代价是参数量和前向显存直接翻倍。现代超大规模模型对齐（如 DeepSeek-R1 / RLHF）普遍倾向于独立双塔架构。 - **熵系数的自适应动态调节（SAC 式自动化）**：固定熵系数难以兼顾复杂任务的各个阶段。高级算法（如 SAC）将熵作为对偶变量（Dual Variable），设定目标最低期望熵 $\bar{\mathcal{H}}$，通过拉格朗日乘子自动梯度调节温度系数 $\alpha$，在探索与利用间实现免调参自适应平衡。 ## 具体演示：标量化损失的代数核算设当前 Mini-batch 评估出的未加权分量指标如下： - 策略代理收益：$\mathcal{J}_{\text{policy}} = 0.2$（希望最大化此项） - 价值均方损失：$\mathcal{L}_{\text{value}} = 0.8$（希望最小化此项） - 策略信息熵：$\mathcal{H} = 0.5$（希望最大化此项） - 超参数配置：价值系数 $c_v = 0.5$，熵系数 $c_e = 0.01$ 代入标准最小化联合损失公式： $$ \mathcal{L}_{\text{total}} = - \mathcal{J}_{\text{policy}} + c_v \mathcal{L}_{\text{value}} - c_e \mathcal{H} = -0.2 + (0.5 \times 0.8) - (0.01 \times 0.5) = -0.2 + 0.4 - 0.005 = 0.195 $$ 计算结果严格等于 0.195。在反向传播时，优化器将同时推动策略收益增加、价值误差降低、策略熵升高。 ## 实践任务：唯一代码填空题补齐最小化形式的总损失。规则：只能修改 `TODO`/`______` 所在位置；不要删除断言或放宽误差。代码注释说明了每个边界条件。 ```{python} #| course_role: exercise def actor_critic_loss(policy_objective, value_loss, entropy, value_coef, entropy_coef): """policy_objective 是要最大化的量。""" # TODO：只补齐下面这个表达式。 return ______ assert abs(actor_critic_loss(.2, .8, .5, .5, .01) - .195) < 1e-12 ``` ### 检查方法运行本单元格；所有 `assert` 必须通过。另手工构造一个边界输入，解释预期结果。提交时请给出：补齐后的代码、实际运行输出（环境不可用时注明“仅静态审查”）以及对失败用例的解释。 ### Q1 不要背定义：请从输入、状态变化和输出三个阶段解释“价值损失、熵与多目标优化”的工作机制。 **你的答案：** ### Q2 total loss 下降但策略 reward 下降，为什么不矛盾？ **你的答案：** ### Q3 离散动作和高维连续动作的 entropy 数值能直接用同一系数吗？ **你的答案：** ## 评分与通过规则 - 代码 4 分：正常输入 2 分，边界输入 1 分，解释实现 1 分； - Q1～Q3 各 2 分； - 一票否决：结果碰巧正确但核心因果链错误、删除边界检查、把未运行结果说成实测。需要提示时按四级机制请求：概念区域 → 具体方向 → 关键局部 → 完整答案。 ::: {.callout-tip collapse="true" title="💡 点击展开参考答案与详细代码实现" icon="false"} ## 参考答案（仅 answer 分支）先完成题目再核对。即使代码一致，也要能解释关键步骤，并尝试更换一个输入规模。 ```{python} #| course_role: solution def actor_critic_loss(policy_objective, value_loss, entropy, value_coef, entropy_coef): """policy_objective 是要最大化的量。""" # 参考实现：表达式直接对应上文不变量。 return -policy_objective + value_coef * value_loss - entropy_coef * entropy assert abs(actor_critic_loss(.2, .8, .5, .5, .01) - .195) < 1e-12 ``` ### Q1 参考答案 1. **输入阶段（多源指标汇聚与权重超参配置）**：输入由 Actor 策略分支计算出的策略代理收益标量 $\mathcal{J}_{\text{policy}}$（待最大化）、Critic 价值分支评估出的均方差误差 $\mathcal{L}_{\text{value}}$（待最小化）、动作概率分布计算出的香农熵或微分熵标量 $\mathcal{H}$（待最大化），以及人为配置或自适应退火的平衡超参数：价值损失系数 $c_v$ 与熵正则系数 $c_e$。 2. **状态变化阶段（标量化合成与多任务反向传播）**： - **优化器符号对齐**：为了适配梯度下降优化器的底层减法逻辑（$\theta \leftarrow \theta - \eta \nabla \mathcal{L}$），将希望最大化的项取负、希望最小化的项保留正号，合成单标量总损失 $\mathcal{L}_{\text{total}} = -\mathcal{J}_{\text{policy}} + c_v \mathcal{L}_{\text{value}} - c_e \mathcal{H}$； - **共享表征空间梯度合成**：在共享 Backbone 参数上，三个任务的梯度矢量进行线性叠加 $\nabla_\theta \mathcal{L}_{\text{total}} = -\nabla \mathcal{J}_\pi + c_v \nabla \mathcal{L}_V - c_e \nabla \mathcal{H}$。通过合理调节 $c_v$ 和 $c_e$，防止绝对数值较大的均方差梯度主导网络更新方向。 3. **输出阶段（平衡演化与退火收敛）**：输出更新后的联合模型权重 $\theta$。在保证 Critic 预测精度的同时，驱动策略概率持续向正优势动作演变，并借助熵正则防止模型过早陷入局部次优策略，实现训练动态从激进探索向平稳收敛的渐进过渡。 ### Q2 参考答案 Total Loss 持续下降而真实环境回报（Episode Reward）反而持续恶化，在多任务深度强化学习中是极其常见且完全合理的现象，因果剖析如下： 1. **量纲主导掩盖（Scale Domination）**：价值回归损失 $\mathcal{L}_{\text{value}} = (V(s) - y)^2$ 通常比无量纲的策略代理损失 $\mathcal{J}_{\text{policy}}$ 大几个数量级（例如 Value 损失为 20.0，而 Policy 损失仅为 0.05）。在训练初期，Critic 网络拟合速度极快，Value 损失迅速从 20.0 跌到 1.0，带动 Total Loss 呈现极为显著的下降态势； 2. **负向迁移与表征破坏（Gradient Interference）**：若 Actor 与 Critic 共享特征提取层，Value 损失的巨大梯度会以压倒性优势重新塑造共享层的权重空间，破坏了此前对动作决策至关重要的语义特征，导致策略分支输出的动作概率分布发生恶化，进而引发实际 Rollout 表现暴跌； 3. **优化目标与环境现实脱节**：策略代理损失 $\mathcal{J}_{\text{policy}}$ 是基于已采样的旧分布计算的局部代数近似。若策略由于参数更新剧烈漂移或者发生了 Reward Hacking，虽然在当前批次上代数损失看似在降低，但在真实环境中的泛化性能可能已彻底崩溃。因此工程上必须单独记录未加权的各个分量损失。 ### Q3 参考答案 **绝对不能直接复用同一个熵系数，甚至不能用相同的量纲去理解**，二者存在本质的数学与物理维度鸿沟： 1. **数学定义与取值域截然不同**： - **离散动作空间（Shannon 熵）**：定义为 $\mathcal{H} = -\sum_{i=1}^K p_i \log p_i$。其值域严格落在 $[0, \log K]$ 区间内，且恒为非负数（Non-negative）。在离散任务中，熵系数 $c_e$（如 0.01）乘以正熵，能够稳定地提供一个幅度受控的正向探索奖励； - **高维连续动作空间（微分熵 Differential Entropy）**：通常假设动作服从多元高斯分布 $\mathcal{N}(\mu, \Sigma)$，其微分熵公式为 $\mathcal{H} = \frac{1}{2} \log \left( (2\pi e)^d |\Sigma| \right)$。微分熵**不是概率度量，而是相对概率密度的几何测度，其数值完全可以为负数（当协方差较小时趋向 $-\infty$）**！ 2. **维度放大效应（Dimensionality Scaling）**：微分熵随着连续动作维度 $d$ 呈线性倍数放大（$d \log \sigma$）。在 20 维的机械臂控制任务中，若标准差缩小到 $\sigma = 0.1$，微分熵约为 $20 \times \ln(0.1 \sqrt{2\pi e}) \approx -18.7$。 3. **严重后果与工程对策**：若将离散动作的 $c_e = 0.01$ 盲目应用到高维连续控制中，负几十的巨大负熵被乘上系数后，会在损失中产生高达 $+0.2$ 的额外惩罚，严重干扰策略梯度的正常回传。连续控制中通常采用极小的熵系数（如 $10^{-4}$），或者像 SAC 算法一样将熵约束设为自适应可学习的拉格朗日乘子。 ## 参考资料 - [PPO paper](https://arxiv.org/abs/1707.06347) - [SAC paper](https://arxiv.org/abs/1801.01290) 资料用于建立事实基线；面试回答仍需用自己的语言组织。 ::: ::: {.course-pagination} [**← 上一课** 第 5 课：PPO](lesson05_ppo.qmd){.pagination-link .pagination-prev} [**下一课 →** 第 7 课：DQN](lesson07_dqn.qmd){.pagination-link .pagination-next} :::