预训练：从压缩里长出能力

2.1自监督：免费而稠密的信号

每个 token 自带标签，不需人工标注——这是预训练能吃下万亿数据的根本原因。

交叉熵下探一层

§1.2 的交叉熵给出了直觉版本：−log P(正确 token)。放大看，整段文本上的训练目标是：

# 对长度为 T 的序列，交叉熵 loss 是所有位置的均值
loss = -(1/T) * sum( log P(x_t | x_1, x_2, ..., x_{t-1})
                     for t in range(1, T+1) )

# 等价于：最小化 KL(数据分布 || 模型分布)
# 即让模型输出的 token 分布 <= 无限逼近真实文本分布

梯度的作用方向是确定的：对某一位置的预测，正确 token 的 logit 被抬高，其余所有 token 的 logit 被压低，幅度正比于分错了多少概率质量。模型分错得越离谱（正确 token 概率接近 0），梯度信号越强。

这个目标有一个重要的等价性：最小化交叉熵等价于最小化模型分布与真实文本分布之间的 KL 散度。换言之，模型被迫让自己的输出分布尽量逼近人类写出来的文本分布，而不是某个特定的"正确答案"分布。

为什么"自监督"是关键优势

训练文本里每一个 token 都天然充当下一位置的标签：给定"法国的首都是"，"巴黎"就是标签；给定"def add(a, b):"，"return"几乎必定是标签。无需人工逐条标注，每个 token 就是一次训练信号。这解释了为什么唯独预训练能吃下万亿量级数据——后训练用人工标注或偏好比较，成本决定了数据量只能在百万量级止步。

涌现：压缩 = 副产品长出能力

要把真实文本预测准，模型被迫同时学会事实（"法国首都是巴黎"）、语法（词序合法）、算术（"3+4=7"之后接"7"）、意图建模（对话里对方下一句会说什么）。压缩世界，是拿到这一切能力的副产品。这与第一章的分界一致：能力来自预训练，不是来自后训练。

2.2数据：为什么质量压过数量

FineWeb-Edu 用 1.3T token 打败了完整的 15T FineWeb——约 11× 小却更强。

从网页到 token：四步管线

预训练数据的主力来源是 Common Crawl——互联网每月的大规模爬取快照，原始体量在 PB 量级。直接喂给模型效果极差：大量内容是垃圾广告、重复页面、乱码。一条标准管线把它清洗成可用数据：

步骤一：MinHash 近重复去重。用局部敏感哈希找出相似度高的文档对，保留一份去除其余。原始 Common Crawl 约有 50% 的内容是近重复文档——新闻转载、页面模板、重复评论。

步骤二：质量过滤。启发式规则（如：过滤掉标点比例异常、非目标语言、停用词比例极低的页面）与 ML 分类器（通常用一个轻量模型，以高质量参考文本为正例训练）联合筛选。

步骤三：数据混合。代码、多语言、数学类内容被系统性上采样，因为这些领域在真实互联网里数量少但训练价值高。

步骤四：Tokenize。用 BPE（Byte-Pair Encoding）或 byte-level BPE 把文本切成子词 token，构建词表（通常 5 万–15 万词条）。同一段文字在不同模型的词表下 token 数量会有差异。

质量 vs 数量：被量化的反直觉

HuggingFace 于 2024 年发布的 FineWeb（15T token）是当时最大的开放预训练数据集之一。随后他们进一步用"教育价值"分类器过滤，得到 FineWeb-Edu（1.3T token，约为全量的 1/11）。在 MMLU 和 ARC 等基准上，FineWeb-Edu 训出的模型胜过在完整 15T 上训练的版本。

合成数据（截至 2026-06）

纯合成数据（由另一个模型生成）训练效果不如真实网页数据。但把合成数据以适当比例混入真实数据，在数学、代码等垂直领域能带来明显提升。蒸馏数据（用强模型的输出作为训练目标）在 SFT 阶段更为重要，详见第 3 章。

2.3架构选型：哪些选择影响训练

decoder-only 赢得预训练主导地位是工程上的胜利，不是能力上的碾压。

decoder-only 为什么成为主流

encoder-decoder 架构（如 T5、BART）在机器翻译等任务上很自然，但在预训练阶段有一个实际缺陷：训练需要成对的输入-输出数据，或者专门设计的自监督目标（如 span corruption）。decoder-only 架构直接把文档拼接起来，每一位置预测下一个 token，整段文本都是训练信号，不需要人为构造输入-输出对。

此外，decoder-only 的自回归结构天然支持 KV-cache 推理加速，纯语言模型预训练后就能展现 zero-shot 能力。这是工程上的优势，不意味着 decoder-only 在所有任务上的能力都优于 encoder-decoder。

四个训练相关的架构细节

RoPE（旋转位置编码）。用旋转矩阵把相对位置信息编入 attention 的 Q/K 向量，而非在输入端加绝对位置 embedding。好处是对训练时没见过的位置长度有更好的外推稳定性——这直接影响了预训练时能覆盖的上下文长度。

RMSNorm。只对均方根归一化，去掉了 LayerNorm 中的均值中心化步骤。计算更快，在训练早期（参数尚未稳定）梯度更稳定，不容易出现 loss 尖峰。

GQA（分组查询注意力）。多个 query 头共享同一组 key/value 头。标准 Multi-Head Attention 的 KV-cache 随上下文长度线性增长，在长序列推理时占据大量显存。GQA 把 KV 头数量从 H 减到 G（G < H），显存开销降低约 H/G 倍，推理时序列越长收益越大。

MoE（混合专家）。每个 token 经过路由器只激活少数几个专家网络（典型如 top-2/8），其余专家不参与该 token 的前向传播。模型的总参数量/容量随专家数增加，但每个 token 的实际计算量不变。这使得 MoE 模型能在相同计算预算下覆盖更多的"知识槽位"，代价是路由负载均衡需要额外处理，以及专家参数散布在不同设备上带来的通信开销。

2.4该训多大、喂多少：scaling law

Chinchilla 定义了"计算最优"；过度训练定义了"推理最优"——两者不是同一个目标。

两个里程碑

Kaplan 2020（OpenAI）。发现 loss 与模型参数量 N、数据量 D、计算量 C 之间存在幂律关系。在固定计算预算下，结论偏向"做更大的模型"——数据量不够时，更大的模型仍然比更小的模型 loss 更低。

Chinchilla 2022（DeepMind）。重新做了实验，结论是：固定计算预算下，模型参数量 N 和数据量 D 应等比例放大，计算最优点约在 20 token/参数。换言之，Kaplan 结论里的"更大模型"实际上数据喂得太少了。

2024–2026：转向过度训练

Chinchilla 定义的"最优"是：给定计算预算 C，训练后 loss 最低的模型。但这不是工业界唯一关心的目标。当一个模型要服务海量推理请求时，推理成本（每个 token 的算力消耗）与模型大小成正比。用更小的模型、喂远超 20:1 的数据，换来更低的单 token 推理成本，在部署现实中往往是更理性的选择。

Llama 系列的 token/参数比清楚地展示了这个转变：

scaling 目标的三种选择

2.5工程现实：把训练这台机器拆开

70B 模型仅权重就约 140GB，超过单张 H100 的 80GB 显存——分布式不是优化选项，是必选项。

为什么必须分布式

以 70B 参数模型为例，bf16 精度下仅权重约占 140GB（每参数 2 字节 × 70×10⁹）。训练时还需要存储梯度（同等大小）和优化器状态（AdamW 需要额外 2 份动量，共约 560GB 仅 fp32 优化器状态）。单张 H100 的 80GB HBM 装不下，必须把模型拆到多卡。

四种并行策略

MFU：实际算力利用率

MFU（Model FLOPs Utilization）= 实际 FLOPs / 硬件理论峰值 FLOPs，衡量计算资源实际被用了多少。GPT-3 训练时 MFU 约 19.6%；PaLM 优化后达到约 46%；现代主流训练在 30–60% 之间。

优化器配置

AdamW。对 Adam 的权重衰减做了解耦——直接在参数更新时减去 weight decay × 参数值，而非把权重衰减加进梯度（后者与 Adam 的自适应学习率相互干扰）。预训练标准选择。

超参数基准。betas 通常设为 (0.9, 0.95)；学习率从 0 线性 warmup 约 1–2k 步，然后 cosine 衰减到峰值的约 10%；batch size 通常在 100 万–400 万 token；梯度全局范数裁剪为 1.0（防止 loss 尖峰时的梯度爆炸）。