偏好优化与对齐

4.1把"偏好"变成"奖励"

对齐的第一步：把无法求导的人类判断，经由成对比较→奖励模型，变成一个标量分数。

为什么用成对比较而非绝对打分

最直观的想法是让标注员给每个回答打分（1–10 分）。现实中这个方案的信噪比很低：不同标注员对"8 分"的标准各不相同，同一个标注员在不同时间对同一条回答也会打出不同分数。成对比较（"A 和 B 哪个更好"）则稳定得多——人对相对优劣的判断远比绝对量化更一致，且标注速度更快，每条对比平均成本更低。

InstructGPT（OpenAI，2022）把这个方案系统化：给标注员看同一个 prompt 的 K 个回答，让他们两两排序，得到 C(K,2) 个偏好对。每个偏好对的形式是 (x, y_w, y_l)——同一个问题 x、被选中的 chosen 回答 y_w、被拒绝的 rejected 回答 y_l。

Bradley-Terry 模型：偏好的概率化

给定两个回答，Bradley-Terry 模型把"chosen 更好"这件事建模为：

P(y_w ≻ y_l | x) = σ(r(x, y_w) − r(x, y_l))

其中 r(x, y) 是奖励函数，σ 是 sigmoid。这个公式有一个关键结论：只有奖励的差值有意义。把所有回答的奖励同时加上一个常数 C，概率分布丝毫不变——奖励的绝对值没有语义，只有相对大小有语义。这一点在后面 DPO 的推导中会再次出现。

奖励模型（Reward Model，RM）的训练

奖励模型从上一章的 SFT checkpoint 出发（这是 RL 训练的起点，也是参考模型的来源）。把语言模型最后一层的"词表输出头"换成一个输出单个标量的线性层，其余参数继续作为特征提取器。训练目标是最大化 log-likelihood of Bradley-Terry：

L_RM = −log σ(r(x, y_w) − r(x, y_l))

奖励模型只训练约 1 个 epoch。训得更久会过拟合偏好数据集——模型开始记住"这条数据里哪个答案被标注员喜欢"而非学到泛化的偏好规律。过拟合的后果在 §4.2 会直接成为一个系统性风险：后续 RL 优化时，策略模型会找到这些过拟合出的漏洞并加以利用（reward hacking）。

4.2RLHF / PPO：4 个模型一起转

PPO 把奖励模型的分数接入策略梯度，同时用 KL 惩罚把策略锚在 SFT 附近，防止它为高分钻空子。

优化目标

RLHF 的训练目标，写成数学形式是：

max_πθ E_x,y~πθ[ r(x, y) ] − β · KL( π_θ ‖ π_ref )

逐项拆解：

• r(x, y)：奖励模型对策略当前回答的评分——越高越好。
• KL(π_θ ‖ π_ref)：当前策略和参考模型（冻结的 SFT checkpoint）之间的 KL 散度——衡量策略偏离 SFT 基线有多远。
• β：KL 惩罚系数，控制两个目标的权衡。β 大则策略保守，β 小则策略激进。

为什么 KL 惩罚不能省

去掉 KL 项，优化目标变成纯粹的"最大化 r(x, y)"。奖励模型是一个神经网络，在训练数据分布之外它的预测不可信。策略模型通过在线采样不断探索新的回答——一旦没有约束，它会迅速发现奖励模型的"漏洞"：某些对人类毫无意义、甚至是乱码的输出，却能获得很高的 RM 分数。

Gao 等人（2023，"Scaling Laws for Reward Model Overoptimization"）在受控实验中量化了这个过程：随着 KL 散度增大，代理奖励（RM 打分）持续上升，但黄金奖励（真实人类评估）先升后降，最终深入负区间。这个现象称为 reward hacking（奖励欺骗），也是 Goodhart 定律在 RL 中的具体表现：当一个测量指标变成了优化目标，它就不再是一个好的测量指标。KL 惩罚把策略锚在 SFT checkpoint 附近，本质上是用"别跑太远"来间接保证策略不会落入 RM 的盲区。

显存里的 4 个模型

PPO 训练需要同时维持 4 个模型（参见图 4.2）：

• 策略模型（actor/policy π_θ）：正在被训练的目标模型，每步产生回答、接收梯度更新。
• 参考模型（reference π_ref）：冻结的 SFT checkpoint，用于计算 KL 散度。不更新参数，只做前向推断。
• 奖励模型（reward model r）：冻结，对策略回答打分。不更新参数，只做前向推断。
• 价值模型（critic/value V）：估计当前状态的期望未来奖励（即 PPO 的基线/baseline），用于计算优势（advantage）。价值模型不等于奖励模型——奖励模型给出即时奖励 r(x, y)，价值模型给出状态价值估计 V(s)；二者功能不同，通常也是分开的网络。这是 PPO 中最常见的混淆之一。

PPO 为什么难

PPO 在实践中以"难调"著称，根源有三：

• 超参多且相互纠缠：β（KL 系数）、clip ratio（PPO 的 ε）、GAE λ、mini-batch 大小、rollout 长度、critic 学习率……前后端约 10 个超参，改一个其余的最优值都会随之漂移。
• 在线采样导致数据分布持续变化：每步策略更新后，下一步的采样分布就变了，无法像 SFT 那样对静态数据集多次迭代。
• 训练容易不稳/崩溃：奖励塌缩（所有回答得分趋同）、KL 爆炸（策略迅速偏离参考模型）、critic 发散——三种失败模式各不相同，诊断困难。

4.3DPO：把 RL 消成一个分类 loss

DPO（Direct Preference Optimization，2023）发现带 KL 约束的 RLHF 存在闭式解——奖励函数可以用策略本身表示，从而绕过奖励模型和 RL 回路。

闭式解的推导思路

带 KL 约束的 RLHF 优化问题（最大化 r − β·KL）有一个已知的最优策略形式：

π*(y | x) ∝ π_ref(y | x) · exp( r(x, y) / β )

对两边取对数，解出 r(x, y)：

r(x, y) = β · log( π(y | x) / π_ref(y | x) ) + β · log Z(x)

其中 Z(x) 是归一化常数（partition function），只与 prompt x 有关，与 y 无关。把这个 r 代入 Bradley-Terry 公式，计算偏好对的概率：

P(y_w ≻ y_l | x) = σ( r(x,y_w) − r(x,y_l) )

因为 r 中含有 β · log Z(x)，而 Z(x) 与 y 无关，在"偏好差"里它恰好抵消。最终得到只依赖策略和参考模型的 DPO loss：

DPO Loss（Python 伪代码）

import torch
import torch.nn.functional as F

def dpo_loss(
    policy_logprobs_chosen,    # log π_θ(y_w | x) — scalar per example
    policy_logprobs_rejected,  # log π_θ(y_l | x) — scalar per example
    ref_logprobs_chosen,       # log π_ref(y_w | x) — frozen, no grad
    ref_logprobs_rejected,     # log π_ref(y_l | x) — frozen, no grad
    beta: float = 0.1,
):
    """
    L_DPO = -E[ log σ( β·log(π_θ(y_w)/π_ref(y_w))
                      - β·log(π_θ(y_l)/π_ref(y_l)) ) ]

    HTML note: < > avoided — all comparisons use variable names only.
    """
    # Implicit reward for chosen and rejected
    # r_implicit(x, y) = β * (log π_θ(y|x) - log π_ref(y|x))
    reward_chosen   = beta * (policy_logprobs_chosen   - ref_logprobs_chosen)
    reward_rejected = beta * (policy_logprobs_rejected - ref_logprobs_rejected)

    # Bradley-Terry log-likelihood: log σ(r_w - r_l)
    logits = reward_chosen - reward_rejected          # shape: [batch]
    loss   = -F.logsigmoid(logits).mean()            # scalar

    return loss

代码中的核心结构直接对应公式：reward_chosen - reward_rejected 就是"偏好差"，-F.logsigmoid(...) 就是负对数似然。整个训练没有奖励模型的前向传播，没有 rollout 采样，没有价值网络——只有两个模型的对数概率做减法再过一个 sigmoid。

两种方法没有绝对优劣，选择取决于场景：PPO 在线探索能发现静态数据集里没有的改进路径，在能力极限处更强；DPO 在工程资源受限、偏好数据充足时是更实用的默认选项。

4.4DPO 的陷阱：别只学优点

DPO 的简洁来自若干隐含假设——打破任何一个，失败模式就会出现。

概率漂移（Likelihood Displacement）

DPO 的优化目标是拉大 chosen 和 rejected 之间的"隐式奖励差"。一种满足这个目标但并不理想的解法是：同时压低 chosen 和 rejected 的概率，只要压 rejected 更多，差值就为正。

实证研究发现，DPO 训练后策略模型对 chosen 回答的绝对对数概率经常下降——chosen 的概率被压低了，只是被压得比 rejected 少一些。这产生一个副作用：策略的概率质量向训练数据覆盖之外漂移，分布外回答（有时是风格奇怪的回答）的相对概率意外上升。

离线天花板

DPO 是离线方法：它只能在已有的偏好对上优化，无法纠正偏好数据集里从未出现过的失败模式。PPO 的在线采样理论上能探索任意新回答。在数学/代码推理等需要"发现新解法"的场景，离线 DPO 的天花板明显低于在线方法。

对参考模型和 β 敏感

DPO 的隐式奖励是相对于 π_ref 定义的。如果参考模型选得不好（例如用质量较低的 SFT checkpoint），或者 β 设置不当（太小则策略漂移过快，太大则偏好信号过弱），训练结果都会大幅退化。

继承合成裁判偏置

当偏好数据由另一个 LLM 生成（RLAIF/合成裁判），DPO 会继承该模型的偏置：长度偏好（更长的回答被选中）、风格一致性偏好（和裁判模型风格相似的回答得分更高）。这些偏置在 PPO 中同样存在，但在 DPO 中因为无法用在线探索纠正而更难消除。

主要变体（一句话）

• IPO（Identity Preference Optimization）：在损失中加入正则项，抗噪更强，防止过拟合到噪声偏好标注。
• SimPO：去掉参考模型，用输出长度归一化的平均对数概率作为隐式奖励，简化显存需求。
• KTO：用二元反馈（好/坏，不需要配对），不要求偏好对，数据收集更容易。
• ORPO：把 SFT loss 和偏好 loss 合并成一个，单次训练同时完成指令跟随和偏好对齐。

4.5前沿：从"对齐"到"推理"（截至 2026-06）

RLVR 把奖励来源从"人类偏好"换成"可验证答案的正确性"，开启了后训练推理能力激发的新范式。

范式转变：验证器替代偏好

经典 RLHF 的奖励来自人类偏好——主观、昂贵、难以扩展到高难度推理任务。RLVR（RL with Verifiable Rewards）的思路是：在数学、代码等存在客观正确答案的领域，直接用确定性验证器判断"答案对/错"作为奖励信号，不再学习一个偏好奖励模型。

两个关键时间节点：

• OpenAI o1（2024-09）：首次在产品层面展示长链思维（long CoT）+ test-time compute（推理时想更久 → 更准）的能力，但未公开技术细节。
• DeepSeek-R1（2025-01，arxiv 2501.12948）：完整公开 RLVR 训练流程，并报告了纯 RL 从 base 起（R1-Zero）无 SFT 冷启动即涌现自行纠错行为的实验。

R1-Zero 的"涌现"指：仅用可验证奖励 RL，未给任何链式思维示例，模型自发学会了在回答前先做推理、再自行纠正。这个行为在 base 模型上是不存在的——RLVR 把它激发了出来。

GRPO：砍掉价值网络

GRPO（Group Relative Policy Optimization）由 DeepSeek 提出（DeepSeekMath，2024，arxiv 2402.03300），并用于 DeepSeek-V3（2024-12）和 DeepSeek-R1（2025-01）。核心设计：去掉 PPO 的 critic/价值网络，改用组内多次采样的相对奖励作为基线。

具体做法：对同一个 prompt x，采样 G 个回答 {y₁, …, y_G}，分别打分 {r₁, …, r_G}。每个回答的优势（advantage）定义为：

A_i = ( r_i − mean({r_j}) ) / std({r_j})

组内均值替代了 PPO 的 critic 估计，组内标准差做归一化。省去价值网络意味着：

• 显存从 4 个模型降到 2–3 个（策略 + 参考，RLVR 有时无需 reference model）。
• 省去 ~40–60% 的显存开销（价值网络通常与策略网络等大）。
• 超参数量减少，训练更稳定。

GRPO 的后继是 DAPO（2025），针对长链思维训练中的熵塌缩问题（策略过早收敛到单一输出模式）做了修正。

蒸馏：把 RLVR 的成果传递给小模型

DeepSeek-R1 训练完成后，团队用 R1 生成约 80 万条推理轨迹（包含完整的思维链过程），再用纯 SFT 把这些轨迹蒸馏进更小的模型。结果：R1-Distill-Qwen-1.5B 在 MATH 基准上超过了 GPT-4o——一个 15 亿参数的蒸馏模型，没有自己做 RL，没有使用专有数据，只靠从 R1 那里学到的推理轨迹。

这个结果说明：蒸馏在"引入真正新能力"上，比直接对小模型做 RLVR 更有效。RLVR 擅长激发模型已经具备但尚未被充分表达的能力；而蒸馏则是从更强的教师模型那里借来它本来没有的推理路径。

推荐栈（截至 2026-06）：可验证域（数学/代码）→ SFT 冷启动 → GRPO/RLVR；一般指令跟随 → SFT → DPO；资源充足且需要推进边界 → SFT → PPO；小模型获取大模型推理能力 → 从强模型蒸馏。

4.6激发还是教会？回访 §1.3（截至 2026-06）

RLVR 让"后训练不增加能力"这条经典分界在 2025–26 被重新审视——但审视的结果是标注了日期，而非推翻。

在§1.3 能力 vs 对齐中，贯穿全书的分界线是：能力（知识、推理、语言）几乎全部来自预训练，后训练几乎不增加新能力，只是把已有能力对齐成人类想要的行为。第 3 章的 SFT checkpoint 正是这条"行为对齐"的起点，也是本章 RL 训练的起始状态。

RLVR 推理 RL（DeepSeek-R1，2025-01；OpenAI o1，2024-09）在基准上展示了预训练基座模型所没有的长链推理行为——这直接挑战了那条分界线。问题是：RLVR 是真的给模型"教会了新能力"，还是把它本来就有的潜在能力"激发"出来了？

pass@k 证据

arxiv 2504.13837（NeurIPS 2025）通过 pass@k 实验系统回答了这个问题：

• 小 k（pass@1）：RLVR 微调后的模型明显优于同等大小的 base 模型。
• 大 k（pass@k，k 足够大）：base 模型的覆盖率（能给出正确答案的比例）反而更高或持平——base 模型的解题能力上限并没有被 RLVR 抬高。

这个模式的解读：RLVR 主要提升的是采样可靠性和效率（用更少的采样次数更稳定地命中正确答案），而非能力天花板。那些推理路径，base 模型本来就能走到——RLVR 做的是把这些路径的出现概率分布"磨锋利"，让好路径的概率更高、差路径的概率更低。

诚实的边界标注

截至 2026-06，对这个问题最诚实的答案是：

• 经典分界（后训练不增加能力）对 SFT 和 RLHF 行为对齐成立——几乎所有文献都一致。
• RLVR 推理 RL 是一个有意义的例外，但当前方法仍更像"把已有能力的概率分布磨锋利"，而不是真正的能力注入。
• 真正引入新能力的手段更多靠蒸馏（从更强的教师模型借推理路径），而非 RLVR 本身。
• §1.5 的地图表（RLHF/PPO/DPO/RLVR 各行）现在可以完整填写——每一行的 loss、信号来源、模型数，在本章都已经讲清楚了。