感知：把世界塞进有限 context

02.1感知导论：感知即文本化

Agent 没有眼睛，只有 context window；所谓感知，就是把多模态输入与工具结果统一转写进同一条 token 序列，再作为闭环里的 observe 一步喂回推理。

底层机制（比"多模态接口"深一层）：Anthropic 把整块输入称作 context state——system instructions、tools、MCP、external data、message history 的总和。Building Effective Agents 把基础积木定义为 augmented LLM = model + retrieval + tools + memory，并强调 agent 每一步都要从环境取得 ground truth（tool 结果、代码执行结果）来评估进度。这正是感知作为"grounding 反馈侧"的精确含义：感知不是看世界，而是把世界的反馈文本化回填。代价随之而来——所有感知内容都占 context 预算，与 system prompt、history 抢同一份稀缺资源。这也是为什么"感知"这一章从头到尾都在讲"怎么省"。

# 感知 = 把世界反馈文本化进同一条 token 流（observe），再喂回推理（reason）
ctx = ContextState(system, tools, examples, history=[])   # 五类信息同处一条流

while not done:
    step   = model.reason(ctx)              # reason：基于当前 context 决定下一动作
    action = step.action                    # act：调工具 / 跑代码 / 点屏幕
    result = env.execute(action)            # 产生有副作用的真实反馈

    # observe = 感知：把任何反馈（文本、表格、图像）序列化成 token 回填
    ctx.history.append(serialize(result))   # 工具结果与截图在此不再有类型区别
    done = step.is_final
# 关键不变式：observe 的每一项都占 context 预算，与 system/history 抢同一稀缺资源

02.2上下文分诊：信息各归其位

Context engineering 不是一次性写好 prompt，而是每一轮推理都重新决定塞哪些 token——按"类型 + 优先级"双轴把信息各归其位。

底层机制（双轴归位）：分诊有两根轴。类型轴把信息分成 system prompt / tools / examples / history / retrieval 五类，各有右尺寸法则——system prompt 求 Goldilocks zone（既不过度硬编码也不空泛，用 XML/Markdown 分区）；tools 是 agent 与信息和行动空间的契约，必须无歧义；examples 选 canonical 的少量样例而非堆 edge case。优先级轴对抗 lost-in-the-middle：模型对 context 首尾 token 赋予不成比例的权重（首因/近因偏置），中部信息易被忽略，所以高置信信息放头尾、次要放中间。为什么有效：分区标签降低模型在 n² 注意力里定位信息的难度，无歧义 tool 集减少 tool-selection 幻觉。这与 LangChain 的 Write / Select / Compress / Isolate 四策略框架同构。

02.3语义压缩：逼近预算就压实

Compaction 是用一次额外推理，把高熵的对话历史换成低 token 的高密度表示，再用摘要重启新窗口——目标是 find the smallest set of high-signal tokens。

底层机制（先 recall 后 precision）：compaction 的本质是用一次 LLM 调用把高熵历史换成低 token 的高密度表示。最轻量的形态是 clearing tool calls/results——历史里调用过的 tool 原始输出是信息密度最低的部分，调用过即可丢，已作为 Claude Developer Platform 一等功能上线。更重的形态是摘要：Claude Code 保留架构决策、未解 bug、实现细节，丢弃冗余 tool 输出。代价与失败模式有两个：其一，压缩本身要花一次 LLM 调用（延迟 + token）；其二，过度压缩会丢"当时不知道重要、后来才知道"的细节——这是不可逆的信息损失。所以调参顺序是先最大化 recall（不漏关键信息）再提 precision（去冗余），反过来必丢关键信息。量化上：SWE-bench 实测每 10–15 次 tool call 调度一次压缩可省 22.7% token（14.9M→11.5M）且不掉点；BATS（2025-11）用 Budget Tracker 给出 HIGH/MEDIUM/LOW/CRITICAL 四档剩余预算，达临界即把历史轨迹换成摘要，10x 省预算。

02.4渐进式披露：按需取数，边探边判

渐进式披露不预加载全部数据，只持有轻量标识符（file path / query / link），运行时用 tool 动态拉取——元数据本身即信号。

底层机制（为什么 grep 在 agent 场景胜过 RAG）：progressive disclosure 用轻量标识符替代预加载，运行时按需取数。元数据本身即信号——文件大小约等于复杂度、命名揭示用途、时间戳揭示相关性，agent 边看元数据边判断要不要钻进去。关键决策是检索策略：Anthropic 早期试过 RAG，最终发现 agentic search（模型自己 grep/glob/head/tail，看结果再决定钻不钻）大幅胜出，且绕开 stale index 与复杂语法树。arXiv 2605.15184 实证：inline grep 在所有 harness-model 对上胜过 vector，最高 +23.3pt，因为任务答案多落在 verbatim span（精确日期、计数）。代价：runtime exploration 比预取慢，且需要工程师精心设计 tool 与启发式让模型"会探"。落地形态是混合加载——CLAUDE.md 朴素预载求速度，glob/grep 按需即时取文件求新鲜度。

# 渐进式披露：先持轻量标识符，看元数据再决定钻不钻（just-in-time）
hits = grep(pattern) or glob("**/*.py")        # 不预加载，只取路径/名字
for f in hits:
    meta = stat(f)                             # 元数据本身即信号：
    #   大小 ~ 复杂度，命名 ~ 用途，时间戳 ~ 相关性
    if not promising(meta):                    # 边探边判：不值得就跳过
        continue
    snippet = head(f, n=50)                    # 按需深入，逐层 disclosure
    ctx.history.append(snippet)                # 只把值钱的那几十行塞进 context

# 混合加载：CLAUDE.md 预载求速度，grep 按需取求新鲜度
ctx.preload("CLAUDE.md")                       # 朴素塞进 context，绕过 index 同步
# 对比 RAG：grep 是确定性精确匹配，无 stale index、无 embedding 语义噪声

02.5多模态融合：截图进 context 的 agent loop

Computer use 把视觉感知接进同一个 agent loop：Claude 收 screenshot，回 coordinate-based 的鼠标键盘动作，harness 执行后回新 screenshot——循环本身就是 agent loop。

底层机制（grounding 为何脆）：computer use 把视觉接进 agent loop——screenshot 进 context（每张约 1,000–1,800 input token），模型输出坐标动作，harness 在沙箱执行回传新图。当前 beta 头是 computer-use-2025-11-24（Opus 4.8/4.7/4.6、Sonnet 4.6、Opus 4.5）。最大的失败源是 GUI grounding——把"点哪里"的语义意图对齐到像素坐标。API 把图下采样到 ≤1568px（早期模型）/~1.15MP，模型在缩小空间返回坐标，点击却发生在原始屏幕空间，错位即来；macOS Retina 2x、4K 源尤其严重。对策有四：指令文本放在 screenshot 之前（先给目标描述再处理图像提升点击精度）、enable_zoom 让模型放大看小字、基线分辨率用 1280x720、提示用键盘快捷键绕开难点的下拉/滚动条。Anthropic 明确承认三大局限：延迟太慢（只适合非实时场景）、计算机视觉坐标会幻觉、tool 选择在小众/多应用场景可靠性下降。OSWorld（真实 OS + 截图/a11y 树）是事实标准 benchmark，早期 SOTA 仅约 20%，说明 grounding 远未解决。