为什么语言能代替梯度

2.1标量 reward 的信息瓶颈

强化学习的经典回路里,环境回给 agent 一个数:r。这个数可以是 0/1,可以是连续分值,但无论多精确,它只回答一个问题——这次整体做得多好。它不回答"哪一步错了""错在什么地方""下次该改成什么"。在监督式或基于梯度的方法里,这个缺口由 backprop 填补:误差信号沿着计算图反传,把"责任"按权重分摊到每一个参数上。这就是 credit assignment(信用分配)——把一个总体结果拆解成对各个决策的功过评判。

LLM agent 的回路里,这条路断了。权重冻结,没有梯度回传;一次 trajectory 可能有十几步 action,Evaluator 只回来一个 fail。Actor 拿到这个 fail,无从知道是第 2 步取错了元素、还是第 7 步漏判了边界条件。标量 reward 在多步决策上是一个信息瓶颈:结果维度坍缩到一维,定位信息全部丢失。

语言反思如何完成 credit assignment

Self-Reflection 模型(M_sr)接收三样东西:任务描述、完整 trajectory、Evaluator 的判定。它产出一段自然语言 reflective text。这段文本做的恰恰是标量 reward 做不到的事——它把整体失败归因到具体某步,并给出修正方向。论文里这段文本是第一人称写的,例如一条编程任务的反思:

对照看:标量信号是 AssertionError 这一个 fail;语言信号则定位到"取中间单个元素"这一步(credit assignment 的定位),并给出"取两数平均"这一处方(credit assignment 的方向)。这就是一个高维、带定位的纠错信号:它的"维度"是自然语言的全部表达力,它的"定位"是对具体 action 的指认。下一个 trial 开始时,Actor 把这段文本拼进 prompt——所谓"学习",是 Actor 在新的上下文条件下重新生成,即 in-context conditioning,而不是参数被梯度推动。policy 在数学上被参数化为"记忆编码 + 冻结的 LLM 参数",trial 之间唯一变化的就是上下文里那段文本。这正是 "verbal reinforcement learning(语言强化学习)" 为何是字面意义:用语言而非梯度去强化。

备选信号对比

2.2reward 从哪里来:按任务分三类

2.1 节反复强调"必须有一个能判对错的 Evaluator"。但 Evaluator 不是一个固定实现——论文里它随任务类型变化,而且大多数情况下不用 LLM 当裁判。这一点常被误解为"Reflexion 就是让 LLM 自己评自己",实际并非如此。下表来自论文的三类基准。

三类的可信度递减:EM 比对 ground-truth,几乎不会错;手写启发式规则明确;自生成测试则把"判据"也交给了 LLM 生成——这埋下了 Reflexion 唯一一次失利的根因(见下方代价段)。Evaluator 的选择,直接决定整个循环的可靠性上限。

2.3反思如何拼回下一轮上下文

反思产出之后,要真正影响行为,必须进入下一个 trial 的 prompt。这一步是机械的字符串拼接,但其中两个设计决定了 Reflexion 能否在长任务上撑住:反思怎么拼、留几条。

每个 trial 结束,Self-Reflection 产出的 srt 被追加进 episodic memory。下一个 trial 开始,Actor 把 memory 里的反思文本格式化成一个"过往教训"区块,拼进任务描述之后、生成指令之前。注意:拼进去的是反思(长期记忆),而不是完整的历史 trajectory——trajectory 是短期记忆,每个 trial 内重置。这正是 2.4 节消融的物理基础:Actor 看到的是被提炼过的教训,不是原始的失败轨迹。

def act(self, task: Task, reflections: list[str]) -> str:
    memory_block = "\n".join(f"- {r}" for r in reflections)   # 长期记忆 → 文本
    prompt = (
        f"实现函数 {task.entry_point}。\n任务:{task.spec}\n"
        + (f"\n过去尝试的教训(避免重犯):\n{memory_block}\n" if reflections else "")
        + "\n只输出函数定义代码。"
    )
    return self.llm.complete(prompt)

第二个决定是容量。episodic memory 不是无限增长的——它是一个大小为 Ω 的滑动窗口,只保留最近 Ω 条反思(论文 Ω=1–3;AlfWorld 用 3,programming 用 1)。截断的原因是上下文长度:trial 3 时,如果把全部历史都塞进去,prompt = 任务 + 3 次完整尝试 + 3 条反思,长任务会直接溢出窗口(见 04 章 #memory-bloat)。Ω 是为适配上下文限制而设的容量上限,论文明确指出它不是 vector DB——向量库 / SQL 检索被列为 future work。

def add(self, sr: str) -> None:
    self.reflections.append(sr)
    self.reflections = self.reflections[-self.capacity:]   # 只保留最近 capacity 条

2.4反思 ≠ 重试:消融证据

一个自然的怀疑:Reflexion 的收益,会不会只是"多试了几次"?毕竟给模型第二次、第三次机会,本身就可能撞对。论文用消融实验正面回应了这个问题,结论很硬:起作用的是"反思"这一步,不是"重试"本身。

两个数字钉死结论。其一,盲目重试 52% < 不重试 60%:把原始失败轨迹塞回上下文,不仅没帮助,还把模型往错误方向引(它倾向于复刻上次的错误路径)。其二,反思比只给历史轨迹再多 +8% 绝对值:同样是"看过去",看"提炼后的教训"显著优于看"原始轨迹"。差距就出在 2.1 节那一步——credit assignment。反思把"发生了什么"压缩成"哪步错了、该怎么改",而原始轨迹把这个推断的负担又甩回给 Actor。

2.5为什么没选别的:六种范式的分界轴

Reflexion 不是凭空出现的,它在一族"让 agent 做得更好"的方法里有明确的生态位。理解它的关键,是理解它不是什么——以及在什么条件下,别的范式才是对的选择。下表给出六个最常被拿来比较的方法,选中行是 Reflexion 的适用区间。

把分界轴归纳成两条问题,选型就清楚了:

• 有没有可靠的外部对错信号? 没有 → CoT / Self-Refine(它们不依赖 verifier);有 → Reflexion / CRITIC / RLHF 才成立。
• 改进要不要跨越多次尝试、并被记住? 任务内即时纠正 → CRITIC;一次尝试内铺开搜索 → ToT;要永久写进权重 → RLHF;跨 trial、用语言记忆、不动权重 → Reflexion。

还要补一句生态现实:Reflexion 的 Actor 内部通常就是一个 ReAct 或 CoT 智能体(它复用、而非取代它们),这也是为什么 Reflexion 坐落在这族方法之上而非与之并列。关于 ReAct / CoT 本身的机制,见 agent 推理模式教程。