推理模型时代：CoT 从 prompt 到权重

§4.1CoT 从 prompt 到权重

用 RL 训练出一条长的内部 CoT：模型在给出答案前，先自行生成一大段内部推理——这段链没人手写，是权重里长出来的。

一年内的时间线：手写技巧 → 训练目标

把节点按月份排开，变化的速度本身就是论点。每一个都带具体日期：

逐个钉死日期与机制：

• OpenAI o1-preview（2024-09-12），完整版 o1（2024-12-05）：第一个公开把「长内部 CoT」作为卖点的模型——答题前先想一长段，思考过程对用户隐藏，只放出摘要。
• DeepSeek-R1（2025-01，arXiv 2501.12948）：用 GRPO（Group Relative Policy Optimization，一种不带 critic 网络的强化学习，靠一组采样答案彼此比较算优势，省掉了单独训一个价值模型）做 RL。配套的 R1-Zero 给出更硬的结论：推理能力可以从纯 RL、不做 SFT（监督微调）中涌现——不喂任何人工写的推理范例，模型也能自己长出 CoT。这是把「CoT 是训练出来的行为」从直觉变成可复现实验的一篇。
• o3-mini（2025-01-31）、o3 / o4-mini（2025-04-16）：推理模型从旗舰下沉到更便宜、更快的档位，并带可调的「推理强度」档（low / medium / high）。
• Claude 3.7 Sonnet 扩展思考（extended thinking，2025-02-25）：把「想多久」做成一个可设的预算——thinking token 预算可拉到 128K，且思考内容对开发者可见。这一步把 test-time compute 直接变成一个 API 旋钮。
• Gemini 2.5 thinking（2025-03），Deep Think 正式 GA（2025-08）：第三家主流厂商把「先想再答」做成默认形态。

§4.2test-time / inference-time scaling：新 scaling 轴

正确率随「思考 token」增加而上升，是一条与预训练规模正交的新 scaling 轴——多想，可以买。

这条轴有三层值得讲清的含义：

• 它是可买的：同一个模型，给它更高的思考预算，就能解之前解不动的题。Claude 3.7 的 128K thinking 预算、o3 的 low/medium/high 档，都是把这根轴做成了开发者能拨的旋钮——为难题多付 token，为简单题省 token。
• 它会趋平：曲线尾部边际收益递减，且 token 是真金白银的成本与延迟。无脑拉满预算不是免费的；§4.3 会讲到，对足够简单的任务，多想甚至有害。
• 它正交于预训练：把模型练得更大、和让模型想得更久，是两件可以分别投入的事。这就是为什么 2024 年后业界把「test-time scaling」与「pre-training scaling」并列成两根轴——这正是第 1 章那句「推理期算力换可靠性」被发表、被训练进去的版本。

§4.3还要不要手写 CoT / ReAct？（面试高频）

对推理模型，手写 few-shot CoT 多余、甚至反噬；但工具编排、成本控制、可审计输出这些场景里，手写模式仍是应用架构。

证据：在推理模型上，手写 few-shot CoT 会掉分

• 5-shot 反而更差：给 o1-preview 套 5 个 few-shot CoT exemplar，正确率低于极简（zero-shot / 直给）prompt。OpenAI 与 PromptHub 等指南据此明确建议：推理模型上别堆 few-shot，最少的指令往往最好。
• 显式样板与内部链冲突：模型已有一套训练好的推理走法，你塞进去的 exemplar 把它往另一条（人写的）路上拽，两套链打架，结果不如让它自己走。
• 简单任务上 overthink：在 <3 步就能答的简单任务上，推理模型容易把问题想复杂（overthinking），反而不如普通（非推理）模型又快又对。
• 感知 / 隐式规律任务上 CoT 拉低正确率：在某些靠直觉模式识别、而非显式推导的任务上，强行展开 CoT 会损害前沿模型——有研究测到 o1-preview 在某个语法分类任务上因显式推理掉了约 −36%。把本该一眼看出的规律硬拆成步骤，反而把对的直觉推翻了。

但这些场景里，手写模式仍然重要

「手写 CoT 退场」不等于「前三章白学」。模式没死，只是搬了家。四类场景仍需要你手写：

1. 非推理模型：GPT-4o 级、以及更小/本地的模型，没把推理训进权重，仍明显受益于显式 CoT 和 few-shot。第 1 章的技巧对它们照样管用。
2. 工具编排：ReAct / ReWOO 这类「推理↔行动↔观察」的循环，是应用架构，哪怕每一步的内核换成推理模型，外层的工具往返循环还是你来搭。这正是第 2 章 ReAct 接地的去向——它从「prompt 模板」升格成了「编排骨架」。
3. 成本 / 延迟控制：ReWOO 式「先一次性规划好全部步骤、再批量执行」能减少模型往返、压低 token 与延迟，在预算敏感的系统里仍有价值。
4. 结构化 / 可审计输出：当你需要每一步都留下可检查、可回放的痕迹（合规、调试、人工复核），显式的步骤化编排比一段藏在权重里的内部链更可控。

把这一节放进规划视角会更立体：推理模型如何吸收规划、test-time compute 如何替代一部分外部规划结构，是同一现象在「控制流」轴上的版本，详见 agent-planning · 前沿。工具往返那一步具体怎么落成真实的 tool_use 调用，见 tool-use。

§4.4框架把模式表达成显式图

模式如今活在编排层、不在 prompt 里：LangGraph 把模式建成状态机，ReAct / Reflexion / plan-execute 变成「图的形状」。

具体到 LangGraph 怎么把模式建成显式图：

• 节点 = 步骤：每个节点是一段可执行单元（调一次模型、调一次工具、做一次评估）。
• 条件边在带类型的共享 state 上跳转：边不是写死的顺序，而是读当前 state 决定下一步去哪——这就是 ReAct 的「想完看 observation 再决定下一步」落成代码的样子。
• checkpoint 保住中途失败：state 可在每一步落盘，中途崩了能从断点续跑，不必从头再来。
• 模式 = 图的形状：ReAct 是一个带条件回边的循环；plan-execute 是先 fork 出多步、再 join 汇总；Reflexion 是「失败→反思写入记忆→带记忆重试」的跨回合回路；复杂流程拆成子图。同一张图就把第 2 章的 ReAct、Reflexion 和 plan-execute 都表达了。

# 讲解用伪代码，未本地验证。
# 把 ReAct「推理→行动→观察」循环表达成一张显式状态图（LangGraph 风格）。
# 内核可以是推理模型；外层这张图——节点、条件边、state——是你手搭的编排，
# 不在 prompt 里。这正是 §4.3「ReAct 留作编排」的代码形态。

from typing import TypedDict, Literal

class State(TypedDict):          # 带类型的共享 state，在节点间流动
    question: str
    scratch: list[str]           # 累积的 thought / observation
    answer: str | None

def reason(state: State) -> State:
    # 调用（内核可换成推理模型）：产出下一步是调工具还是直接收尾
    step = llm_decide_next(state["question"], state["scratch"])
    state["scratch"].append(step.thought)
    state["_route"] = step.kind   # "act" 或 "finish"
    state["_pending_tool"] = step.tool_call
    return state

def act(state: State) -> State:
    obs = run_tool(state["_pending_tool"])      # 接地：真实工具的真实返回
    state["scratch"].append(f"observation: {obs}")
    return state

def route(state: State) -> Literal["act", "finish"]:
    return state["_route"]        # 条件边：读 state 决定下一步去哪

# graph：reason → (条件边) → act → 回到 reason，直到 finish
graph = StateGraph(State)
graph.add_node("reason", reason)
graph.add_node("act", act)
graph.set_entry_point("reason")
graph.add_conditional_edges("reason", route, {"act": "act", "finish": "__end__"})
graph.add_edge("act", "reason")          # 这条回边 = ReAct 的循环
app = graph.compile(checkpointer=...)    # checkpoint：中途失败可从断点续跑

§回看前三章：每个模式的命运

本章不推翻前三章，而是给它们各自的去向盖章。把三章的核心模式放进推理模型时代，命运各不相同：

一句话收口这张表：能被一段内部链替代的，进了权重（CoT、ToT 式内部搜索）；不能被替代的，留在了外面（接地、工具往返、真正的并行）。这条分界线，就是判断「某个手写模式在推理模型上还活不活」的通用判据。