词汇表:七个零件如何拼出一个会反思的 agent

贯穿本章的场景只有一个,小到可以在脑子里跑完:让一个 LLM 写出 Python 函数 median(nums)(返回数字列表的中位数,偶数长度取中间两数平均),并通过两条断言——其中一条专测偶数长度。第一次尝试只取了正中间那一个元素,偶数用例失败。这一次失败、以及它如何变成下一次的成功,正好把七个零件依次点亮。

1.1verbal reinforcement:为什么不更新权重

用语言反馈而非梯度更新来"强化"一个 agent,策略就是记忆里那段文本。

在 median 场景里,这意味着:第一次失败后,系统不会去调模型参数,而是生成一句话——"只取了中间单个元素,没处理偶数长度"——并把它存起来。第二次尝试时,这句话被拼进 prompt,模型在它的条件下重新生成代码。整个过程没有一次反向传播。

比文档深一层的机制:论文把策略 π 显式参数化为"agent 的记忆编码 + 选定的 LLM 参数"两部分。两次 trial 之间,LLM 参数那一半完全冻结,唯一变化的是记忆那一半——也就是上下文里的文本。所以"verbal reinforcement learning"是字面意义上的:学习确实发生了(行为在改善),但它发生在 context window 里,通过 in-context conditioning 生效,而不是通过 backprop 改动任何一个权重。这条线索后面会反复回来——它是整个范式与微调的根本分界。

衔接下一节:既然权重不动,那"生成代码"这一步由谁来做?答案是 Actor——而它正是读者已经熟悉的东西,只是换了个角色名。

1.2Actor:它不是新模型,就是 CoT / ReAct

生成 text + action 的 LLM 策略,内部就是 CoT 或 ReAct,不是另起炉灶的新模型。

这是本章第一个反直觉点,值得钉死:Actor 不是一个为 Reflexion 新训练或新设计的模型。它就是一个普通的 LLM 推理策略——单遍生成中间推理就是 CoT;边推理边调工具、交错 reason+act+observe 就是 ReAct。Reflexion 没有改 Actor 的内部,它只是把 Actor 当成一个可替换的零件塞进更大的循环里。在 median 场景里,Actor 就是"接到任务描述、吐出一段函数定义"的那次模型调用,仅此而已。

比文档深一层的机制:既然 Actor 内部可以是 ReAct,那它本身就能在一次尝试内做多步推理与工具调用。这里要分清两个不同维度的"循环"——Actor 内部的 reason→act→observe 是单条轨迹之内的步进;而 Reflexion 外层套的 生成→评估→反思 是跨尝试的循环。前者不跨尝试积累教训,后者才是 Reflexion 的新增物。把两者叠在一起看:Reflexion = 一个(可能很会推理的)Actor + 外面一圈让它跨尝试改进的脚手架。

衔接下一节:Actor 跑完一次,留下的产物——那一串"想了什么、做了什么、得到什么"——需要一个名字。这就是 trajectory。

1.3trajectory(轨迹):一次尝试的动作序列 = 短期记忆

Actor 一次尝试产生的完整 action / observation 序列,即这一回合的短期记忆。

在 median 场景里,trial 0 的 trajectory 很短:Actor 输出的那段代码 return s[len(s)//2],加上把它跑在两条测试上得到的结果(第二条偶数用例抛出断言失败)。在多步 ReAct 任务里,trajectory 会长得多——一连串 思考→动作→观察。无论长短,它都是"这一回合到底发生了什么"的唯一完整记录。

比文档深一层的机制:trajectory 是短期记忆——关键在"短期"二字。它的生命周期被绑死在单次 trial 之内:这一回合结束、教训被提炼出来后,下一回合的 Actor 并不会原样继承上一条 trajectory(否则上下文会迅速膨胀)。它服务于"评估"和"反思"这两个紧邻的下游步骤,用完即可丢弃。能跨回合活下来的,不是 trajectory 本身,而是从它身上提炼出的那一句教训。这个"短期 vs 长期"的切分是本章最容易被读顺、却最该记牢的一刀——图 2 会专门画它。

衔接下一节:有了可检查的 trajectory,下一步是判它成败。这件事交给 Evaluator。

1.4Evaluator:给轨迹打分 = reward,而 reward 只是标量

给一条 trajectory 打分、输出 reward 的角色;reward 通常只是一个标量或 pass/fail。

Evaluator 不一定是一个 LLM。论文按任务类型用不同实现:推理任务对答案做 exact-match;决策任务用手写启发式(比如同一动作重复超过 3 次、或动作数超过 30 就判失败)或一个 LLM 二分类器;编程任务则跑自生成的单元测试。在 median 场景里,Evaluator 就是那段"逐条执行 assert、捕获异常"的代码——通过返回 (True, ""),失败返回 (False, "AssertionError: ...")。

这是本章第二个反直觉点:reward 只是一个标量(甚至只是 pass/fail),它的信息量极低。它能告诉系统"你失败了",却说不出哪一步错了、该怎么改。在 median 里,Evaluator 给出的只是"第二条断言挂了 + 一行报错";它不会、也无法说"你应该对偶数长度取中间两数平均"。这个"诊断"动作不在 Evaluator 的职责里。

比文档深一层的机制:这里藏着 credit assignment 问题。一个标量 reward 无法在一串动作里定位"是哪一步 a_i 导致了后续连锁出错、它该被改成什么"。即便把 reward 升级成向量也不行——它仍然不是一个带定位、可操作的纠错信号。这正是为什么光有 Evaluator 还不够:它制造了一个"知道错了、但不知道错在哪"的缺口。填这个缺口的,是下一个零件。

衔接下一节:Evaluator 制造了"知道错、不知错在哪"的缺口。把这个标量缺口填成可操作教训的,是 Self-Reflection。

1.5Self-Reflection:把标量失败翻成第一人称语言教训

把 reward + trajectory 转成一条第一人称的自然语言教训(reflective text)。

这是本章第三个、也是最关键的反直觉点的落点:前面 Evaluator 给的标量信息量近乎为零,而 Self-Reflection 通过"语言化的诊断"凭空造出了一个高维、带定位的纠错信号。在 median 场景里,它读到"代码取了 s[len(s)//2] + 偶数用例失败",输出的反思文本是:

我只取了中间单个元素,没处理偶数长度;下次对偶数长度取中间两数的平均。

比文档深一层的机制:Self-Reflection 之所以能替代梯度,是因为它在做 credit assignment ——而它用的工具是语言,不是数值。它能推断"动作 a_i 导致了后续 a_i+1、a_i+2 出错,应该改成 a'_i"。在 median 里,这个定位就是"问题出在'取单个元素'这一步,改成'偶数取两数平均'"。这一句话同时完成了三件标量做不到的事:定位错误环节、给出修正方向、且以 Actor 能直接读懂的形式表达。所以论文的消融结果才合理——只把上次 trajectory 原样塞回去(blind retry / episodic-memory-only)效果反而更弱,加上这一步反思能再贡献约 +8% 的绝对提升;盲目重试(52%)甚至低于不重试(60%)。起作用的从来不是"再试一次",而是"反思那一步做的诊断"。

衔接下一节:Self-Reflection 产出了一条教训。但单条教训若用完即丢,下一次就又从零开始。要让教训跨回合积累,需要一个存放它们的地方——episodic memory。

1.6episodic memory(情景记忆):跨 trial 的反思 buffer = 长期记忆

跨 trial 累积反思文本的 buffer,即长期记忆;Ω=1–3 的滑动窗口,不是向量库。

这是本章第四个反直觉点,也是最常被想偏的一个:episodic memory 不是向量数据库,而是一个长度上限为 Ω 的滑动窗口(论文 AlfWorld 用 3、programming 用 1)。它的实现朴素到近乎简陋:一个列表,每反思一次就 append 一条,只保留最近的 Ω 条。论文把"用向量库 / SQL 做检索式长期记忆"明确列为 future work——也就是说,标准 Reflexion 里没有嵌入、没有相似度检索,只有"最近几条"。

比文档深一层的机制:为什么是滑动窗口而不是全量保留?因为反思文本要被拼进下一轮的 prompt,而上下文长度有限。到 trial 3 时,prompt 已经 = 任务描述 + 多次尝试的痕迹 + 多条反思;若无上限,长任务会直接溢出窗口。Ω 因此是一个为适配上下文长度而设的容量上限,不是检索策略。把它理解成"队列尾部最近 Ω 条",而不是"按相关性召回的知识库"——这一刀切错,后面 02 章的 memory injection、04 章的 memory 膨胀全会跟着想偏。

衔接下一节:四个角色、两种记忆都齐了。剩下的问题是——它们如何接成一个能自我改进的闭环?这就是 trio。

1.7trio:三者接成"生成 → 评估 → 反思 → 重试"循环

Actor、Evaluator、Self-Reflection 三个模型,经 trajectory、reward、memory 串成一个跨 trial 的闭环。

三个模型(论文记作 M_a / M_e / M_sr)按这样一条数据流首尾相接:Actor 读"任务 + memory 里的反思"生成 trajectory → Evaluator 给 trajectory 打出 reward → 若未通过,Self-Reflection 把 (trajectory, reward) 翻成一条反思文本 → 这条文本 append 进 episodic memory → 回到 Actor,开始下一个 trial。循环在两种情况下停止:Evaluator 判定通过,或者达到 max_trials。

比文档深一层的机制:把图 1 横着读,会看到一条信息量先降后升的曲线。Actor 产出富信息的 trajectory → Evaluator 把它压成一个近乎零信息的标量 reward → Self-Reflection 又把这个标量重新展开成一条带定位的语言教训。中间这一压一展不是冗余:压缩是为了得到一个明确的"对/错"判定(停止条件需要它),展开是为了得到一个可操作的修正方向(下一次 Actor 需要它)。这条循环之所以能改进,靠的正是 Self-Reflection 在展开那一步注入的、标量里本不存在的信息——而这一切发生时,三个模型的权重一个都没动。