工具与前沿：用什么评，以及这个领域正在往哪走

4.1先手写一个最小 judge，看清机制

一个 LLM-as-a-judge 评估器，剥到底就是三样东西：一段 prompt、一份 rubric（评分标准）、一段把模型回复解析成分数的代码。

下面是一个示意版（非完整可运行，省略了 SDK 初始化与重试）。读它的目的不是抄来跑，而是看清"judge 到底在做什么"。

# 示意代码：剥到底的 LLM-as-a-judge。省略 SDK 初始化、重试、并发。
import json, re

RUBRIC = """评估下面这条回复，按 1-5 打分：
5=完全正确且完整  4=正确但有小遗漏  3=部分正确
2=大体错误  1=完全错误或答非所问
只依据【参考答案】判对错，不要被回复的语气或长度影响。"""

JUDGE_PROMPT = """{rubric}

【问题】{input}
【参考答案】{reference}
【待评回复】{output}

输出严格的 JSON：{{"score": <1-5 整数>, "reasoning": "<一句话理由>"}}"""

def judge(input, output, reference, call_model):
    # 1) 把样本 + rubric 拼成一段 prompt
    prompt = JUDGE_PROMPT.format(
        rubric=RUBRIC, input=input, output=output, reference=reference)
    # 2) 调一次模型（call_model 是任意 LLM 客户端）
    raw = call_model(prompt, temperature=0)
    # 3) 解析出结构化分数 —— 框架替你做的容错就加在这一步
    m = re.search(r"\{.*\}", raw, re.DOTALL)
    data = json.loads(m.group(0))
    return int(data["score"]), data["reasoning"]

score, why = judge(
    input="法国的首都是哪里？",
    output="巴黎，它也是法国最大的城市。",
    reference="巴黎",
    call_model=my_llm)            # 你自己的模型调用
print(score, why)                 # 5 "回复给出了正确的首都巴黎"

把这个 judge 套在一整个数据集上反复跑，就是一个 regression（回归）runner——每次模型或 prompt 改动后，重跑同一批样本看分数有没有掉。这正是 ch03 离线回归集的执行形态：

# 示意：把单个 judge 套到整个数据集 —— 这就是一个回归 runner。
def run_regression(dataset, system_under_test, judge_fn):
    rows = []
    for ex in dataset:                       # dataset: 一批 {input, reference}
        output = system_under_test(ex["input"])   # 跑被测 agent / RAG
        score, why = judge_fn(ex["input"], output, ex["reference"])
        rows.append({"input": ex["input"], "score": score, "why": why})
    avg = sum(r["score"] for r in rows) / len(rows)
    return avg, rows                          # avg 就是这一版的回归分

# 改 prompt / 换模型 / 调检索后重跑，比较 avg 有没有回退（regression）。

这 ~20 行就是整个 eval 工具生态的地基。后面所有框架做的，是在这个 runner 外面套上：数据集版本管理、并发与限流、trace（把每次调用的中间步骤记下来）、多 judge 投票、统计区间。机制没变，变的是工程规模。

4.2八个工具横评

认清了内核，选型就从"学哪个 API"变成"要的是哪种封装"。下表把 2026 年中主流的 8 个 eval 工具按同一组维度排开。核心原语（primitive）指这个工具让你直接操作的最小对象——是写一个 assert、定义一个 scorer，还是配一份 YAML。

八个名字摊开容易眼花，但它们在两条轴上各就各位：横轴是你写代码还是用现成平台（库 ↔ 平台），纵轴是自己托管还是托管在别人那（OSS ↔ SaaS）。把它们摆进四象限，选型直接落到象限上。

四象限给的是"哪一类"，下面三段把它落到具体决策。

从手写 judge 映射到框架

回到 §4.1 那段手写 judge。它在三个框架里分别长这样，但内核完全相同：

• DeepEval 的 GEval：你给一段自然语言判据（"回复是否只依据参考答案、不被语气影响"），它内部就是把判据当 rubric 拼进 prompt、调模型、解析分数——和 §4.1 的 RUBRIC + judge() 一一对应。
• Ragas 的 faithfulness：rubric 被固定成"回复里的每条陈述能否由检索到的 context 支持"，prompt 和解析都预置好了。你不写 rubric，因为它替 RAG 场景写死了。
• LangSmith 的 Evaluator：同一个 judge 被包成一个挂在 Experiment 上的对象，额外帮你记录每次调用的 trace、对接人工标注队列。judge 逻辑没变，多的是数据集与追踪管理。

主轴：先用 OSS 库（Ragas + DeepEval）起步。评 RAG 检索与生成，Ragas 的 faithfulness / context recall 是事实标准，装上就能算。要把 eval 当单测、用阈值卡住 CI，DeepEval 的 assert_test() 不达标直接抛错，和 pytest 无缝。两者都是纯库，零基础设施，本地一条命令跑完——这是绝大多数项目该起步的地方。

何时毕业到托管平台（LangSmith / Langfuse）。当需求从"算个分"变成三件事——要 trace（逐步看 agent 中间调用，对应 ch01 的轨迹层）、要团队协作（共享数据集、人工标注队列、跨实验对比）、要生产 online 监控（线上请求实时打分、按 session 聚合）——纯库就撑不住了，这时上 LangSmith（已在 LangChain 栈里最顺）或 Langfuse（要自托管 + 数据不出域时选它）。不要为了"显得专业"过早上平台；先有回归集，再有平台。

4.3前沿之一：agent benchmark 全景（截至 2026-06）

上面是"评自己系统"的工具。另一类东西是公开 benchmark：一批固定任务 + 一个统一指标，用来横向比不同 agent / 模型的能力。读懂它们能让你判断一个模型的"SWE-bench 70%"到底意味着什么，也能借它们的指标设计反哺自己的 eval。

4.4前沿之二：方法学正在往哪走（最近 6-12 个月）

工具和 benchmark 是表层，底下是方法学在移动。最近 6-12 个月有六条线索，每条都在把 eval 从"测一次能力"推向"测可靠性"。

1 · pass^k 取代单次 pass@1

单次跑（pass@1）掩盖非确定性："这次 90% 通过"下一次可能挂。pass^k 测同一批任务连跑 k 次是否全部通过——只要有一次失败就不算过。τ-bench（2024-06）把它带进主流，因为客服 agent 的可靠性必须用重复来量。这是 §4.1 末尾那个 temperature=0 仍不确定问题的直接回应。

2 · 轨迹 eval 升为一等公民

过去只看最终答案对不对；现在 agent 走了哪条路（调了哪些工具、顺序如何）本身要被评。LangSmith 在 2025-26 上线 Multi-turn Evals，分三模式——Final-Response（只看终答）、Single-step（看单步动作）、Trajectory（看整条轨迹）；配套的 agentevals 库提供参考轨迹匹配器。这把 ch01 讲的轨迹层从概念变成了产品里的一等评估对象。

3 · LLM-as-jury 与 judge 校准

judge 本身会偏：自我偏好（self-preference，NeurIPS 2024）、position / verbosity bias（偏向靠前或更长的回复，IJCNLP 2025）、"Silent Judge" 捷径偏差（judge 走捷径不真正读内容，2025-09）、Judge Reliability Harness（2026）。修复手段在成形——多 judge 组成陪审团（LLM-as-jury）投票降单 judge 偏差、对 judge 跑 IRT（项目反应理论）估其区分度、给 judge 的灵敏度 / 特异度报置信区间。"谁来验证验证者"已写进 ACL 审稿指南。这回链 ch02 的 judge 校准与 judge 偏差。

4 · 从比能力转向比可靠性

最强的机构信号：HAL（Holistic Agent Leaderboard，Princeton，ICLR 2026）暂停了能力排名，转做可靠性（一致性 / 鲁棒性 / 安全）评估，并同时报成本。一个公开榜单主动放弃"谁分最高"的排法，本身就是"准确率不够"这个判断的最强背书。

5 · error-analysis-first / eval-driven 之争

Hamel Husain 与 Shreya Shankar 的《LLM Evals: Everything You Need to Know》（2026-01-15）主张：先人工读 trace，为读到的真实错误现写 evaluator，而不是先搬一套通用指标。这条路线把 eval 的起点从"指标库"挪到"看数据"，回链 ch03 的错误分析。

6 · 工具层合并（eval × observability）

2026 年初一连串并购印证了图 4.1 右上角那一格的整合：OpenAI 收购 Promptfoo（约 $86M）、Langfuse 被 ClickHouse 收购、Braintrust 完成 $80M B 轮。模式趋同——OSS 版本管 PR 级（开发期回归 gate），商业版本管生产 / 合规（线上监控、审计、团队协作）。

把这六条按"还在不在动"分三桶，读者一眼就知道哪些可以放心学、哪些要追、哪些别碰。