SFT：把能力对齐到「听话」

3.1对齐问题：从"会续写"到"会回答"

基座模型有能力但不听话；后训练要解决的是行为没对齐，而不是能力不够。

§1.3 的能力 vs 对齐已经画出这张图：基座模型的能力条几乎被预训练填满，行为条却是空的。具体表现是：给基座模型输入"请解释一下反向传播"，它多半不给解释，而是续写出"请解释一下反向传播。这是一个深度学习领域的核心问题。请解释一下梯度消失……"——知识在，回答意愿不在。

这不是能力缺失，是行为没有对齐到"被提问时应当回答"这种姿态。SFT 要修的正是这一点。

本章 SFT 只解决第一层："听指令、有格式、会回答"。更精细的问题——"哪个回答更好""价值观怎么对齐"——留给第 4 章的偏好优化。SFT 是行为克隆（behavioral cloning）：给模型看大量"好的行为示范"，让它学会模仿。

3.2SFT 的机制：换数据，不换机器

SFT 与预训练用同一个交叉熵 loss；唯一区别是数据格式和 loss 的计算位置。

§1.2 建立的那台机器——token → 预测下一个 → 交叉熵 loss → 梯度下降——在 SFT 里原封不动地运行。变化的是两件事：

• 数据格式：不再是海量无标注文本，而是人写或合成的"（指令，理想回答）"对。每条样本都有明确的"该说什么"。
• loss 的计算位置：只在回答部分的 token 上计算交叉熵；指令（prompt）部分的 token 被掩码，label 设为 -100，梯度不经过这些位置。优化器只被告知"给定这种输入，回答是什么"，而不是"输入本身是什么"。

图示：prompt 掩码

伪代码：labels 掩码

# 伪代码：SFT 样本的 labels 掩码构造
# input_ids: [bos, u1, u2, ..., <eot>, a1, a2, ..., <eot>]
# 其中 u* 是 prompt tokens，a* 是 response tokens

IGNORE_INDEX = -100  # PyTorch CrossEntropyLoss 忽略此值

def build_labels(input_ids, prompt_len):
    """
    prompt_len: prompt 占用的 token 数（含特殊 token）
    返回同长度的 labels，prompt 部分设为 IGNORE_INDEX
    """
    labels = input_ids.clone()
    # 对 prompt 段做掩码——优化器不在这里算梯度
    labels[:prompt_len] = IGNORE_INDEX
    return labels

# 训练 step 示意
for batch in dataloader:
    input_ids = batch["input_ids"]          # (B, T)
    labels    = batch["labels"]             # (B, T)，prompt 部分已是 -100
    logits    = model(input_ids).logits     # (B, T, vocab_size)
    # CrossEntropyLoss 自动跳过 label == -100 的位置
    loss = cross_entropy(
        logits[:, :-1].reshape(-1, vocab_size),
        labels[:, 1:].reshape(-1),          # next-token prediction
        ignore_index=IGNORE_INDEX,
    )
    loss.backward()
    optimizer.step()

chat 模板与特殊 token

<|user|>、<|assistant|>、<|eot_id|> 这类角色标记是词表的一部分，在 tokenizer 训练阶段就已注册。SFT 期间，模型学会了"看到 <|assistant|> 就该开始回答"。推理时若 chat 模板与训练时不一致（哪怕只是空格或换行位置不同），对应的 token id 序列就会错位，行为静默掉点。这是部署时最常见的格式陷阱之一。

数据规模：质量远重于数量

三个代表性数据集说明了这条规律：InstructGPT（2022）使用约 1.3 万条人工示范；Alpaca（2023）用 GPT-3.5 合成了 5.2 万条数据；LIMA（2023）只用 1000 条精选数据，对齐效果已相当有竞争力。数量差距高达 52 倍，对齐质量的差距远没有这么大。这个现象引出了下一节。

3.3表层对齐假说：SFT 到底教会了什么

LIMA 的实验说明：对齐教的是"用哪种格式/风格的子分布"，不是在教新知识。

LIMA（2023）提出表层对齐假说（Superficial Alignment Hypothesis）：模型的知识与能力几乎全部在预训练阶段习得；对齐只是教模型"在与用户交互时，该从预训练学到的分布中采用哪个子集"——即回答风格、格式偏好、"应该先说什么"这类表层决策。这正是 §1.3 那条不对称实证的直接反映：能力条是预训练填满的，SFT 动的是行为条。

假说的预测是：少量高质量示范就能饱和对齐效果，因为格式/风格信号的信息量本来就不大。1000 条数据的 LIMA 验证了这个预测。

3.4教模型幻觉：SFT 最隐蔽的失败模式

在模型内部没有依据的问答对上做行为克隆，等于在教模型"无论知不知道，都要自信作答"。

SFT 本质上是行为克隆：给定一个（指令，回答）对，优化器只知道"看到这种输入，就该输出这种回答"，不知道也不关心"模型内部是否真的掌握了这个答案的依据"。

John Schulman 在多个公开场合指出这个机制性问题：标注者给出的答案，未必对应模型参数里已有的知识。在这样的样本上做 SFT，梯度在教的不是"如何正确回答"，而是"在没有内部依据时，也要输出一个听起来合理的答案"——即学会了"永远回答"这个行为，却没有学会"只回答有内部依据的内容"这个边界。

Gekhman 等（2024）对此做了量化：在含有模型原本不知道的新知识的样本上微调，幻觉倾向与新知识样本的数量呈线性正相关。新知识样本在训练中学得更慢（loss 下降缓慢），一旦被"记住"，模型反而泛化出"编造"的行为倾向——因为优化器学到的是"遇到不确定输入也要给出确定答案"这个更广泛的模式。

3.5SFT 的能与不能：微调 vs RAG vs LoRA

改行为用微调，加可更新事实用 RAG；两者常组合，LoRA 是微调的省显存变体。

微调 vs RAG：先问目标

两类需求对应两种工具，判断标准只有一个：目标是改行为还是加事实？

• 改行为 / 格式 / 语气 / 领域推理风格：用微调（全量或 LoRA）。行为刻在参数里，推理时零额外开销，稳定。
• 加可更新、可溯源的事实：用 RAG（检索增强生成）。事实存在外部知识库，可以随业务更新，无需重新训练，且检索来源可以展示给用户核实。

Lewis 等（arxiv 2312.05934）的对比研究表明，RAG 在知识注入上稳定优于无监督微调。两者并不互斥：常见的生产配置是微调管格式/语气，RAG 管事实——每一层的工具用在对应的目标上。

LoRA：冻结权重，只训低秩旁路

全量微调更新模型的全部参数（表达力最强，但显存占用是模型本身的数倍，且容易灾难性遗忘预训练行为）。LoRA（Low-Rank Adaptation）提出一种参数高效方案：冻结预训练权重矩阵 W，只在旁路引入两个低秩矩阵 B（维度 d×r）和 A（维度 r×d），前向传播变为：

h = W·x + B·A·x

其中秩 r 通常取 4–64，约占原参数量的 1–5%。W 不参与梯度更新，只有 B 和 A 被训练。显存需求显著下降，且由于预训练权重保持不变，遗忘风险也更低。

四种手段的对比

表中 RAG 被标注为"当目标是加可更新事实"时的选型。改行为时，在全量微调和 LoRA 之间按显存预算和数据量选择；两种方式不互斥，生产配置中常见"LoRA 调行为 + RAG 管事实"的组合。