RL 基础与 VLA 后训练：公式、方法与论文对照

研究笔记 01 · 2026-10-02
面向双臂／灵巧手 VLA、offline-to-online RL，以及 Humanoid + ACT。根据本地论文原文整理；“REACP”按 RECAP 处理。核心方法展开目标函数，其余方法用速查表压缩。文中的论文简称链接到本地 PDF；末尾列出核对版本与原始来源。

阅读顺序：先读 1–5 节基础，再读 6–11 节算法，最后读 12–14 节 VLA 对接与选型。这里统一了不同论文的符号，公式保留算法核心，工程上的 ensemble、归一化、辅助损失以原文为准。

1. 统一符号与问题设定

1.1 环境、策略与网络

默认转移与奖励机制不直接依赖 $\theta$。有限时域问题若奖励／最优策略依赖剩余时间，应把时间并入状态，或给 $Q,V,\pi$ 加时间下标；下文采用前者，避免省略时间造成 Bellman 方程歧义。

1.2 VLA 中什么才是状态

令 $\ell$ 为任务语言，$o_t$ 为相机、关节等观测，$c_t=(\ell,o_{0:t},a_{0:t-1})$ 为历史上下文。机器人通常是部分可观测问题：理论中的 $s_t$ 可理解为满足 Markov 性的完整状态或 belief state，实际模型则计算 $\pi_\theta(a_t\mid c_t)$。仅用当前图像代替完整状态是建模近似。

语言可作为状态的一部分。动作若是电机关节目标，动力学 $P$ 仍包含伺服器、接触和机体动力学；“直接输出关节目标”不等于网络输出电机电流，也不自动等于全身控制已端到端训练。

2. Reward → Return → Q / V / A → J

2.1 即时奖励、累计回报、优化目标

Reward $r_t$ 只评价当前一次转移；return $G_t$ 是从当前开始的折扣累计奖励；$J(\theta)$ 是策略在初始任务分布上的期望回报：

期望覆盖初始状态、策略采样和环境随机性。单条轨迹的 $G_0$ 只是一次样本，不是 $J$。若只在最后成功时给 $1$，$\gamma=1$ 时 $J$ 等于成功概率；若 $\gamma<1$，它还偏好更早成功。若每步给 $-1$，则偏好少用步数；如果失败也会提前结束，必须设计失败代价，避免“尽早失败”反而得分更高。

2.2 三种价值量

先固定策略 $\pi$。定义状态价值 $V^\pi$、动作价值 $Q^\pi$ 和优势 $A^\pi$：

$V$ 问“到这里之后，按这个策略做能得多少分”；$Q$ 问“这里先做这个动作，再按策略做能得多少分”；$A$ 问“这个动作比该策略在此处的平均动作好多少”。因此：

优势为正不代表一定成功，只代表比当前基准更好。论文中 IQL 的 expectile $V$、SAC 的 soft $V$ 有不同定义，不能直接套用上面的“普通策略平均价值”。

2.3 Bellman 方程从哪里来

把 $G_t=r_t+\gamma m_tG_{t+1}$ 放进条件期望，用全期望公式即可得到 Bellman expectation equation：

令 $V^*(s)=\sup_\pi V^\pi(s)$、$Q^*(s,a)=\sup_\pi Q^\pi(s,a)$。当最大值可达时，Bellman optimality equation 为：

这形成两种基本操作：policy evaluation 固定策略估计价值；policy improvement 根据价值改善策略。Actor–Critic 将二者交替进行。连续高维动作下，直接求 $\max_aQ(s,a)$ 很难，actor 的一个作用就是近似这个优化步骤。

3. MC、TD、n-step 与 GAE

3.1 MC return 与 TD target

Monte Carlo（MC） 等到完整轨迹结束，用观测到的 $G_t$ 监督价值：

Temporal Difference（TD） 用“真实一步奖励 + 下一状态价值估计”作目标。令 $y_t^{\rm TD}$ 为一步目标、$\delta_t$ 为 TD error：

表格型 TD(0) 的更新是 $V(s_t)\leftarrow V(s_t)+\eta\delta_t$。目标网络不是 TD 定义的一部分，而是深度 RL 常用的稳定化手段。Q 网络也可用 TD；区别只是目标中的后续价值从哪里来。

离线数据由多个策略产生时，直接 MC 回归通常对应数据行为混合的条件回报，不自动得到新策略的 $V^{\pi_\theta}$。TD 也不会自动解决 off-policy 问题，仍要检查目标策略、数据覆盖与校正方式。

3.2 n-step return：两者之间的桥

令 $n$ 为向前使用的实际奖励步数；$M_{t,j}=\prod_{i=0}^{j-1}m_{t+i}$，空乘积 $M_{t,0}=1$。终止后按吸收状态零奖励补齐。定义：

$n=1$ 是一步 TD；到真正终止且不再 bootstrap，就是 MC。它同时影响方差、bootstrap 误差与 off-policy 误差：若中间动作来自不同的行为策略，多步目标通常不能未经校正就当作目标策略的无偏 return。

终止不等于截断。 成功、失败等真正终止令 $m_t=0$；仅因采样 batch 满了而截断，应保留 bootstrap，并用截断前的最后观测。若超时本身定义为任务失败，它才是该任务的终止条件。

3.3 为什么 TD error 能估计 Advantage

如果 $V_\psi=V^\pi$ 且后续遵循 $\pi$，那么：

因此 $\delta_t$ 可作为一步优势估计。GAE（Generalized Advantage Estimation） 用多个 TD residual 平滑这个估计。令 $\lambda\in[0,1]$ 为 GAE 混合参数，$L$ 为当前 rollout 中剩余步数；令 $V_{\rm old}$ 为本轮计算优势时冻结的价值网络，$\delta$ 也由它计算：

$\lambda=0$ 为一步 TD 优势；$\lambda=1$ 为该 rollout 的多步 return 减 baseline，只有 rollout 到真正终止才化为 $G_t-V_{\rm old}(s_t)$。GAE 原论文；VLA 应用见 VLA-RL。

小例子。 三步奖励为 $(0,0,1)$，$\gamma=0.9$，最后一步终止，则 $(G_0,G_1,G_2)=(0.81,0.9,1)$。若三个状态的价值估计为 $(0.2,0.3,0.6)$，则 TD error 为 $(0.07,0.24,0.4)$；取 $\lambda=1$，$\widehat A_0=0.07+0.9\times0.24+0.9^2\times0.4=0.61=G_0-0.2$。

4. Policy Gradient 与两种 Actor–Critic

4.1 从 J 推到策略梯度

令 $\xi=(s_0,a_0,r_0,\ldots,s_T)$ 为完整轨迹，$p_\theta(\xi)$ 为其概率；用 $P(s',r\mid s,a)$ 表示环境的状态、奖励联合转移。由环境不依赖 $\theta$：

用 $\nabla p=p\nabla\log p$，再利用“当前动作不能影响过去奖励”，得到：

任取不依赖当前动作的 baseline $b(s)$，因为：

可将 $Q$ 换成 $Q-b$；取 $b=V^\pi$ 就得到优势形式。离散动作把积分换成求和。

若 $\gamma<1$，定义归一化折扣状态占用分布 $d_\gamma^\pi(s)=(1-\gamma)\sum_{t\ge0}\gamma^t\Pr_\pi(s_t=s)$，则还可写为：

实践中常用均匀采样时间步的 surrogate，省略外部 $\gamma^t$；这不是对上述有限轨迹目标的逐项恒等改写，阅读实现时要检查采样分布。

4.2 Q Actor–Critic 与 Advantage Actor–Critic

这两个名称首先描述 critic／actor 信号的选择；“Q Actor–Critic”并不是唯一确定的一篇算法。

取 $\pi_{\rm old}$ 为采样时冻结的策略。最基本的 on-policy advantage actor–critic 在当前采样参数处，最小化以下局部损失：

梯度估计在 $\theta=\theta_{\rm old}$ 处对应新鲜 rollout；若对同一批数据大幅更新很多次，就要考虑策略变化，PPO 用概率比值和 clipping 处理这一点。REINFORCE 用 MC return 的策略梯度；如果仅用 return 而不学价值网络，就没有 learned critic。

A2C 通常指同步采样／更新的 Advantage Actor–Critic；A3C 是其异步多 worker 版本。二者与 PPO 有共同基础，但 A2C 没有 PPO 的 clipped ratio 目标。A3C 原论文。

对确定性 actor，令 $f_\theta(s)$ 为直接输出的动作。在固定 replay 状态分布上，常最小化 $\mathcal L_{\rm actor}=-\mathbb E_{s\sim\mathcal D}Q_\phi(s,f_\theta(s))$；链式法则给出：

更新 actor 时冻结 critic 参数，但保留 $Q$ 对输入动作的梯度。这个 replay surrogate 不应未经说明就称为原始 on-policy $J$ 的精确梯度。DDPG、TD3。

5. Offline / Online 与 On-policy / Off-policy 是两个维度

5.1 四个词分别在问什么

Online 可以是 off-policy：SAC 一边收集新数据一边从历史 replay 学习。固定数据也可来自某个恰好等于目标策略的行为策略：此时可做 on-policy evaluation；但固定数据通常无法支持策略不断变化后的标准 on-policy control。

PPO 的 ratio 不意味着它可以直接复用任意旧数据；SAC 是 off-policy 也不意味着把它直接运行在固定数据上就一定有效。BC／SFT 使用离线数据，但没有利用奖励改善策略时，应叫模仿学习而非 offline RL。

5.2 分布不匹配与重要性采样

令 $w_t=\pi(a_t\mid s_t)/\mu(a_t\mid s_t)$ 为动作重要性比值，$W_{0:t}=\prod_{i=0}^{t}w_i$ 为前缀比值；要求目标策略会选择的动作在行为数据中有非零概率。对相同初始分布和环境，任意可积轨迹函数 $f(\xi)$ 满足：

精确轨迹校正的方差可能随时域剧增。只乘当前一步的比值，通常不能同时校正不同的状态分布和未来行为。很多 off-policy 算法依靠 Bellman 回归、目标网络、行为约束等机制，而非完整轨迹 importance sampling。

Offline 的核心困难：OOD 动作误差。 OOD 指数据分布外。actor 最大化估计 $Q$ 时可能选中数据中没见过、却被 critic 高估的动作；bootstrap 再传播该错误。IQL 限制价值学习时查询的动作来源，CQL 压低不受支持的价值，BC／KL 正则约束策略偏离。三者处理的是相关但不同的问题。

6. Q-learning、TD3 与 SAC：通过 Q 改善动作

6.1 SARSA、Q-learning、DQN

令 $y$ 为 TD 目标、$a'$ 为下一动作。二者共享表格更新 $Q(s,a)\leftarrow Q(s,a)+\eta[y-Q(s,a)]$，但目标不同：

SARSA 在跟随并评估实际行为策略时是 on-policy；Q-learning 的目标是 greedy 策略，即使数据来自探索策略也可更新，因而是 off-policy。深度版本 DQN 用神经网络、replay 和目标网络代替表格。Double DQN 用在线网络选动作、目标网络评价，减轻“同一噪声同时选和估”造成的高估：

原始文献：DQN、Double DQN。对灵巧手所有连续关节组合直接离散枚举通常代价很大。库中 HIL-SERL 对离散夹爪动作使用 DQN grasp critic；连续机械臂部分采用另一套 actor–critic。

6.2 DDPG → TD3

DDPG 用确定性 actor $f_\theta$ 近似连续动作优化。TD3 增加 双 Q 取较小值、延迟 actor 更新、目标动作平滑。令 $i\in\{1,2\}$ 标识两个 critic，$\epsilon_{\rm smooth}$ 为截断的零均值高斯噪声，$\operatorname{clip}_{\mathcal A}$ 为裁剪到合法动作范围：

critic 回归 $y$；actor 最大化通常选定的一个 critic $Q_{\phi_1}(s,f_\theta(s))$。与 SAC 的关键差别是：标准 TD3 没有最大熵目标，actor 是确定性映射。DDPG 原论文、TD3 原论文。RL Token 使用 TD3-style critic / Q 最大化加参考动作约束，但整体结构并非逐项照搬标准 TD3。

6.3 SAC：最大熵 Off-policy Actor–Critic

Soft Actor–Critic 在奖励之外奖励策略熵。定义熵 $\mathcal H(\pi(\cdot\mid s))=-\mathbb E_{a\sim\pi}\log\pi(a\mid s)$，温度 $\alpha>0$ 控制熵权重：

用上标 $\mathrm{soft}$ 明确区分普通价值与 soft 价值。SAC 的约定是 $Q^{\pi,\mathrm{soft}}$ 不含当前动作处的熵奖励、$V^{\pi,\mathrm{soft}}$ 含当前状态熵：

以下 $Q_{\phi_i}$ 均拟合 soft $Q$。现代双 critic SAC 无需单独的 $V$ 网络，三个核心步骤为：

随机 actor 常通过重参数化 $a=f_\theta(s,z)$、$z\sim\mathcal N(0,I)$ 获得梯度，$I$ 为单位协方差矩阵。若使用 tanh 限幅，$\log\pi$ 要包含变量变换的 Jacobian 修正。目标 critic 常用 Polyak 更新；令 $\eta_{\rm tar}\in(0,1]$ 为目标网络更新率：

可学习温度：令 $u_\alpha=\log\alpha$、$\mathcal H_{\rm target}$ 为目标熵，一个常用的 log-temperature 损失是：

实际熵过低时，最小化该损失会提高 $\alpha$，鼓励探索。SAC 适合连续控制和 replay 复用；直接用于纯离线数据仍可能遭受 OOD 高估。

原始方法： SAC、Algorithms and Applications。库中使用： DSRL 的 DSRL-SAC 在生成策略的噪声／潜变量空间运行 SAC。RLPD、HIL-SERL 属于相关 off-policy actor–critic 路线，但具体 entropy backup 有变体，不能把标准 SAC 的每一项直接套上去。

7. Offline RL：IQL、AWR / AWAC、CQL / Cal-QL

7.1 IQL：Expectile value + TD critic + 加权模仿

Implicit Q-Learning 的价值学习不需要查询 actor 生成的分布外动作。令 $\kappa\in(0,1)$ 为 expectile 参数，通常 $\kappa>0.5$；令 $\delta_{\rm exp}$ 为 expectile 回归残差，定义不对称平方损失：

正残差 $Q-V>0$ 的权重为 $\kappa$，负残差的权重为 $1-\kappa$，因此 $V$ 偏向数据中较好的动作价值。IQL 三步如下：

这里 $Q_{\bar\phi}$ 可取双 Q 的较小值。定义用于策略提取的分数 $\widehat A^{\rm IQL}=Q_{\bar\phi}(s,a)-V_\psi(s)$；$\beta_{\rm AWR}>0$ 为优势温度，$w_{\max}>0$ 为可选权重上限：

这是“好动作多学、差动作少学”的加权 BC。某些论文用逆温度写成 $\exp(\beta\widehat A)$；本笔记统一采用除以温度的写法。

注意： $V_\psi$ 是数据动作 $Q$ 的上 expectile，通常不是 $\mathbb E_{a\sim\mu}Q(s,a)$；因此 $\widehat A^{\rm IQL}$ 也不满足第 2 节关于 $A^\pi$ 的所有恒等式。IQL 避开了价值目标中的 OOD 动作查询，但不保证有限数据与函数逼近下完全消除外推误差。

原始方法： IQL。库中继承： BORA 离线阶段用 IQL 式 critic，但 actor 为 masked clipping + BC；Q-VGM 离线 critic 用 IQL bootstrap，actor 为速度场更新。两者都不能简写为“完整使用 IQL 的三个 loss”。

7.2 AWR / AWAC：为什么会出现 exp(Advantage)

固定一个状态与动作打分函数 $Q(s,a)$，设 $\mu(a\mid s)$ 为有足够支持的参考行为分布；$q(a\mid s)$ 为待求的新动作分布，$\beta_{\rm KL}>0$ 为约束强度。定义 $D_{\rm KL}(q\|\mu)=\mathbb E_{a\sim q}\log[q(a\mid s)/\mu(a\mid s)]$。考虑单状态、固定 Q 的优化：

拉格朗日一阶条件给出：

减去任何仅依赖状态的 baseline，都会在归一化时抵消，所以也可写成与 $\mu\exp(A/\beta_{\rm KL})$ 成正比。用参数化策略拟合这个改进分布，就得到优势加权回归。严格投影包含状态相关的 $Z(s)$；很多实用版本省略它或归一化／裁剪样本权重。

AWR 用优势加权监督学习更新策略；AWAC 将这种 actor 更新与 off-policy Q 学习结合，面向离线数据预训练后快速在线微调；IQL 借用相近的策略提取形式，但 critic 的 expectile 构造不同。AWR、AWAC；库中 IQL 是理解这种 actor 的直接入口。

上面的闭式解是固定 $s,Q$ 的局部优化，不是“一次指数加权就精确解出了整个机器人任务的最优策略”。

7.3 CQL：压低数据外动作的 Q

Conservative Q-Learning 在 Bellman 回归上加入保守正则。令 $\beta_{\rm CQL}>0$ 为其强度，$\mathcal L_{\rm TD}$ 为普通 critic 的平方 TD 损失；离散动作下的典型形式是：

第一项倾向压低整体动作价值，第二项保留数据动作的相对价值。连续动作要用积分及采样／重要性估计，不能枚举全部关节动作。保守性有助于离线学习，但过强的悲观估计可能阻碍在线探索。CQL 原论文。

7.4 Cal-QL：对保守价值进行标定

Calibrated Q-Learning 处理从离线到在线时过于保守、价值尺度不合适的问题。令 $V^{\rm ref}(s)$ 为参考行为价值，$a^\pi$ 为当前策略采样的动作。CO-RFT 使用的一个校准正则核心写作：

将 $\beta_{\rm Cal}\mathcal R_{\rm Cal}$ 加到 TD 损失，其中 $\beta_{\rm Cal}>0$。当某个策略动作的 $Q$ 已低于参考价值时，第一项不再通过它继续向下施压。这个校准并不是对整个神经网络所有输出强制实施硬下界；完整 Cal-QL 的采样与保守项形式见 Cal-QL。

库中使用： CO-RFT 将 Cal-QL 扩展到动作块，做 offline VLA post-training。Cal-QL 原方法可用于 offline-to-online，并不意味着 CO-RFT 这篇也做了在线 RL。不要把 CO-RFT 记成 IQL。

8. PPO、RLOO、GRPO：通过采样回报改善策略

8.1 PPO：概率比值 + Clipping

用 $\pi_{\rm old}$ 收集一批 rollout，估计并冻结 $\widehat A_t$（通常为 GAE）；定义概率比 $w_t(\theta)$、裁剪阈值 $\epsilon_{\rm clip}>0$，以及把数值限制在下界 $l_{\rm clip}$、上界 $u_{\rm clip}$ 之间的函数 $\operatorname{clip}(x,l_{\rm clip},u_{\rm clip})$：

令 $c_V,c_H\ge0$ 分别为价值损失与熵奖励系数，一个常用的联合最小化目标为：

若 $\widehat A_t>0$，继续增大“好动作”概率的收益在上侧被截平；若 $\widehat A_t<0$，继续减小“坏动作”概率的收益在下侧被截平。Clipping 裁剪的是 surrogate 的收益，不是把所有概率比／KL 硬性限制在区间内。 因此仍可配合 KL 监控与提前停止。

PPO 通常每轮采新数据，在该批数据上做若干次更新后刷新 rollout，属于常见 on-policy 路线。TRPO 则显式使用平均 KL 约束来构造 trust region；PPO 是更便于一阶优化的近似路线。PPO、TRPO。

库中使用： VLA-RL 明确采用 PPO + GAE + learned value critic；SENTINEL 用于 residual 策略；HumanPlus 的低层 humanoid 控制使用 PPO，高层技能学习另属模仿学习。BORA 的离线 actor 虽含 PPO-style clip，因使用固定演示数据和专门掩码，不能据此归为标准 on-policy PPO。

8.2 RLOO / GRPO：不训练价值网络也能估计优势

对相同任务／初始条件采样 $K\ge2$ 条轨迹。令 $R_i$ 为第 $i$ 条轨迹的总回报，$\bar R=K^{-1}\sum_{j=1}^KR_j$，$s_R=\sqrt{K^{-1}\sum_j(R_j-\bar R)^2}$ 为组内标准差；$\varepsilon_{\rm num}>0$ 防止除零。

RLOO（REINFORCE Leave-One-Out） 用其他轨迹平均回报作为 baseline：

GRPO（Group Relative Policy Optimization） 常用组内归一化分数：

再把这些轨迹级分数送入 policy-gradient／PPO-style clipped objective，按论文定义分配给动作或 token；可另加参考策略 KL。它们无需 learned value critic，但需要多次 rollout，回报相同时可能没有有效区分信号。组内分数不是每个机器人状态真实 $A^\pi(s_t,a_t)$ 的精确估计。

库中对应： RIPT-VLA 的 LOOP 使用 RLOO + PPO clipping；SimpleVLA-RL 使用 GRPO，不要记成 learned-critic PPO；FetchMan 采用 Flow-GRPO 的扩展，动作分布／flow 的处理需看其具体构造。

动作 token 的 log-probability 与环境动作的 log-probability 要区分：自回归动作序列的联合 log-probability 是各 token 条件 log-probability 之和，但把每个 token 视作独立环境步会改变时域与归因。

9. RLPD、REDQ 与 Human-in-the-loop

RLPD（RL with Prior Data） 把演示／已有离线数据与新交互数据混合，用高样本效率的 off-policy actor–critic 学习。令 $\zeta\in[0,1]$ 为 batch 中离线样本比例；采样分布记为：

这里是采样分布的混合，不是数值相加两个文件集合。RLPD 的典型设置等量混合 prior 与 online 数据；配合 critic ensemble、较高 update-to-data ratio 等设计。UTD 定义为每新增一个环境样本所做的梯度更新次数；高 UTD 能多用数据，也更需要控制过拟合和价值误差。REDQ 是理解 ensemble 与高 UTD 的相关基础。

HIL-SERL 使用 RLPD 路线，将 demonstrations、在线自主数据和人工接管数据接入训练，并学习任务奖励分类器。其正文的 critic backup 未写 SAC 的 entropy 项，而 actor 含熵奖励；因此准确说法是 RLPD / SAC-family 变体，不能直接声称其 critic 完全等于第 6.3 节标准 SAC。

BORA 先离线训练 VLA 与 critic，再冻结 VLA，在线训练动作块 residual，并用 RLPD 混合 replay；还利用接管与恢复信号。它体现了“offline critic 初始化 → online off-policy residual”的路线。

Human-in-the-loop 只是数据／交互机制，不限定算法。人工纠正动作可以用于 BC，也可以进入 RL replay；只有纠正数据监督训练、没有 reward/value 改善目标时，应归为交互式模仿学习。Hand-in-the-Loop 属于后者，不能因持续采数据就称为 online RL。

10. RECAP：MC 价值学习 + Advantage-conditioned Policy

RECAP = RL with Experience and Corrections via Advantage-conditioned Policies，是 π*0.6 / RECAP 的核心方法。它通过自主执行、任务结果标签和可选人工纠正反复改进 VLA。

10.1 用完整轨迹训练分布式 V

该论文取有限任务中的 $\gamma=1$，奖励结合每步代价与失败惩罚，并按任务归一化回报。以下统一记归一化后的 MC 标签为 $\widetilde G_t$。令 $B$ 为价值区间数、$v_1,\ldots,v_B$ 为区间代表值，$b(x)$ 为把数值映射到区间编号的函数；价值网络输出概率 $p_\psi(j\mid s,\ell)$，$j\in\{1,\ldots,B\}$：

论文使用 $B=201$。这里是 对 MC return 分桶做分类回归，不是 IQL expectile，也不是 SAC 的 TD critic。$\pi_{\rm ref}$ 表示累计数据隐含的参考行为混合，包含演示、人类纠正与不同阶段的机器人策略；原文用其价值解释上述估计。

10.2 从价值生成“较好动作”标签

令 $n$ 为优势估计使用的步数；$\widetilde r_t$ 表示与价值标签采用相同任务尺度的奖励，$\epsilon_\ell$ 为任务相关阈值，$I_t$ 为二值 improvement indicator：

此式统一了终止掩码与时间编号；原论文取 $\gamma=1$。实现时必须确保 reward 与 $V$ 的归一化尺度一致；若用了仿射平移，需处理相应边界项，不能直接把原始 reward 与归一化 $V$ 相加。论文将人工纠正样本标为 $I=1$，相当于相信这些纠正有改进作用。

10.3 用条件建模提取策略

令 $\beta_{\rm cond}\ge0$ 为条件项权重。理想化、可计算动作密度时的目标是：

训练同时学习无条件与 indicator 条件分布；执行时令 $I=1$。Bayes 公式说明其机制：

它提高“被判为改进”的动作在条件分布中的概率。与 IQL / AWR 的区别是：优势成为输入条件／标签，而非只变成每个样本的指数 loss 权重。 与 PPO 的区别是：不依靠 old-policy probability ratio 的 clipped objective。

实际 π*0.6 同时有离散输出与连续 flow 动作，连续部分用 条件 flow matching 实现上述策略建模思想，不能把理想化 $-\log\pi$ 原样当成已可精确计算的 flow loss。数据增长后重训价值和条件策略，形成迭代改进。参考原文 §IV–V，而非只看算法名字。

11. 生成式 VLA 的 RL：关键是 Actor 怎样接收改进信号

11.1 BC / ACT 与 Flow Matching 的基础目标

对于可计算动作密度的策略，behavior cloning 为 $\mathcal L_{\rm BC}=-\mathbb E_{(s,a)\sim\mathcal D}\log\pi_\theta(a\mid s)$。ACT / ALOHA 用条件 VAE 与动作块模仿学习；Diffusion-Policy 用去噪生成动作。它们是策略建模／模仿学习基础，本身不等于 RL。

为解释 flow，令 $H$ 为动作块长度、$d_a$ 为单步动作维度，$U\in\mathbb R^{H\times d_a}$ 为实数动作块；$z\sim\mathcal N(0,I)$ 为同维高斯噪声，$u\in[0,1]$ 为生成过程时间，与环境时间 $t$ 区分；$v_\nu$ 为参数为 $\nu$ 的速度网络。以线性路径为例：

$\operatorname{Unif}[0,1]$ 表示区间均匀采样；范数对动作块展平后计算。推理积分 $dy_u/du=v_\nu(y_u,u,s)$，从 $y_0=z$ 到 $y_1$；记整个生成映射为 $F_\nu(s,z)=y_1$。π0 是库中基础入口。

多峰、长动作块有利于表示灵巧操作，但也使 RL 接口变复杂：最终动作的精确 $\log\pi$ 往往不易得到；把 $Q$ 的梯度穿过整个采样器会增加成本。Flow matching 的平方损失不恒等于精确负 log-likelihood。

11.2 Q 引导、约束与蒸馏

FQL。 FQL 分开训练 BC flow $F_\nu$ 与一步 actor $f_\theta(s,z)$。令 $\beta_{\rm dist}>0$ 为蒸馏权重：

两个 actor 使用同一个 $z$ 对齐生成结果。critic 用当前一步 actor 采样下一动作做 TD；RL 梯度不需要穿过整条 BC flow 的 ODE 求解。

RL Token。 RL Token 压缩冻结 VLA 的视觉语言前缀；令 $x$ 为压缩 token 与本体感觉组成的输入，$\widetilde U$ 为冻结 VLA 的参考动作块，$f_\theta(x,\widetilde U)$ 为 actor 均值，$\sigma>0$ 为固定标准差：

其 critic 使用 TD3-style chunk TD；actor 既追求高 $Q$，又被参考动作约束。参考动作是 actor 的条件输入，不能把论文粗略写成“在原 VLA 上跑标准 SAC”。

Q-VGM。 Q-VGM 离线用 IQL 式 critic，在线切换到 policy-sampled TD；actor 用 Q 改善的终点构造局部、靠近去噪末端的速度目标，以局部回归更新速度场，避免对完整生成链做 RL 反传。应分别阅读其 critic 与 actor，不能因 critic 用了 IQL 就把 actor 也写成加权 BC。

BORA。 BORA 离线 actor 是 validity-masked clipped surrogate 与 BC 的组合；在线冻结基础 VLA，用 RLPD 学习 residual。概念上，令 $\Delta U_\theta$ 为学到的修正块：$U_{\rm exec}=U_{\rm base}+\Delta U_\theta$。实际还需遵守动作归一化、限幅和控制接口。

11.3 其他生成策略 RL 方法速查

12. 动作块、双臂与人形控制：公式如何落到机器人上

12.1 Chunk Q 与环境时钟

令 $H$ 为预测长度、$C\le H$ 为本次实际连续执行的步数。记 $\widehat U_t^{(H)}$ 为预测块、$U_t^{(C)}=(a_t,\ldots,a_{t+C-1})$ 为实际执行的块；只有全部执行且没有中途改动时，二者才相同。定义折扣块奖励和块终止掩码：

将 $C$ 步视为一个决策转移，价值目标为：

这里 $Q(s,U)$ 的含义是承诺执行该块后再遵循后续策略；若机器人在块中途重规划、人工覆盖动作，训练必须记录并处理真实执行过程。不能用未执行的 $H$ 步预测去配 $H$ 步奖励；也不能一边用 $C$ 步奖励，一边仍只乘一步折扣 $\gamma$，除非已把该 $\gamma$ 重新定义为每块折扣。

Q-Chunking、Adaptive-Q-Chunking 是这一主题的入口；CO-RFT、RL Token、BORA、Q-VGM 将 chunk critic 用到 VLA 后训练。可变块长度时，还要处理不同时间尺度的价值／优势可比性。

12.2 结构设计与 RL 算法是不同层面的选择

HumanPlus 等工作应按高层技能与低层控制分别记录；任务级策略输出关节目标依然通常由底层伺服执行。价值学习算法本身不决定是否端到端。

13. 方法—论文对应总表与补充方法

13.1 本地论文的实际用法

“使用”表示该文方法的一部分；“继承”表示只借用了相应组件。列入参考文献或作为 baseline，不足以支持“该论文使用此算法”的归类。

13.2 常见补充方法：读到时能定位即可

这里优先保留与库内 manipulation / VLA 直接相连的方法；model-based planning、世界模型 RL、多智能体信用分配另成后续笔记，不在本篇展开。

14. 阅读与实验时的最小核对清单

1. Reward 和 return 分开。 稀疏成功奖励、每步代价、失败罚分、折扣和归一化共同决定实际优化目标。
2. 写出 critic 的完整 target。 下一项来自 $V$、$Q$、actor 采样、数据动作、MC 还是分位数？有没有 entropy 和终止掩码？
3. 再写 actor 的 loss。 PPO ratio、加权 BC、条件建模、Q 梯度、局部速度回归，是不同的改进接口。
4. 注明行为策略与训练阶段。 Offline / online 描述数据能否增长；on-policy / off-policy 描述更新与采样策略的关系。
5. 对齐动作与时钟。 单步、动作块、去噪步、token 步不可混用；$\gamma^C$ 与真正执行长度要一致。
6. 检查 partial observability 和干预。 人工接管改变行为；历史观测可能影响 Markov 性；replay 必须记录真实执行动作。
7. 区分方法、变体、baseline。 引用了 SAC 或 IQL，不等于使用完整算法；用了 clip，也不自动等于 on-policy PPO。
8. 只对可验证控制链说“端到端”。 高层 VLA、ACT、全身 controller、关节伺服分别是什么，先画清楚输入输出。

针对你的方向，建议首轮精读顺序： IQL → RLPD / Cal-QL → RECAP → CO-RFT / BORA → RL Token / Q-VGM；并行读 PPO + GAE → VLA-RL → RIPT-VLA / SimpleVLA-RL。Flow 线先读 FQL，再比较 DPPO、ReinFlow、FPO。ACT / Humanoid 的网络与控制栈细节适合接着单独整理。

15. 本地引用与核对版本

以下为正文实际引用的本地论文。版本对应当前整理后的 PDF；方法归类以正文方法章节为依据。外部经典算法原文已在相关小节直接链接，未假定它们全部已下载进本地库。