概念地基：把地图上的名词变成精确定义

概念地图上的名词不止于此，但面试里能不能讲清楚，取决于这六个能不能给出精确定义、说出底层机制、并在追问下不崩。逐个建立。

01Embedding / 向量

模型把文本或图像映射成一串定长浮点数，几何距离近 ≈ 语义相似。

底层机制（比文档深一层）。"embedding 表征语义"这句话在文档里是结论，机制在训练目标里。模型训练时收到的信号是"哪些样本该相近、哪些该远离"（对比学习 / 下一词预测引出的分布相似性）。优化过程持续把语义相近的样本往一起拉、把无关的往外推，直到几何位置稳定地编码了这种关系。所以向量里每一维并不对应某个人类可命名的属性，单看一维没有意义；有意义的是整组坐标之间的相对位置。正因为语义关系被固化成了几何关系，"语义搜索"在数学上就退化成了一件老问题：在向量集合里求最近邻。后面整章索引技术，本质都是在加速这个最近邻查询。

稠密向量 vs 稀疏向量

同样叫"向量"，工程上分两族，对应两种检索哲学：

稠密向量召得回"忘记密码 ≈ 重置密码"，却会漏掉产品型号 X-2200 这种字面 token；稀疏向量恰好相反。生产里 hybrid 检索把两者结果融合，正是因为它们的失败模式互补——这条线索留给 03 章展开。

from openai import OpenAI
client = OpenAI()

def embed(text: str) -> list[float]:
    # 输入文本，输出定长 dense 向量（这里 1536 维）
    return client.embeddings.create(
        model="text-embedding-3-small",
        input=text,
    ).data[0].embedding

v_doc   = embed("重置账户密码的步骤")
v_query = embed("登不上去 怎么办")
# v_doc 与 v_query 字面无重叠，但几何上夹角很小 —— 这正是语义被编码成坐标的结果
print(len(v_doc), len(v_query))   # 1536 1536

02相似度度量

把"两个向量有多像"算成一个数：cosine 看夹角，内积含模长，L2 看直线距离。

底层机制（比文档深一层）。三种度量本质是同一个内积的不同归一化。对向量 a、b：dot product 是 Σ aᵢbᵢ，既含夹角又含两者模长；cosine 是 dot / (‖a‖·‖b‖)，把模长除掉、只剩夹角的余弦；L2 距离的平方 ‖a−b‖² = ‖a‖² + ‖b‖² − 2·dot，在向量都归一化（‖a‖=‖b‖=1）时变成 2 − 2·dot。最后这条式子是关键：当所有向量都 L2-归一化到单位长，L2 越小 ⟺ dot 越大 ⟺ cosine 越大，三者给出的排名完全一致。这不是巧合，是上面代数的直接推论。

import numpy as np

def cosine(a, b): return a @ b / (np.linalg.norm(a) * np.linalg.norm(b))
def dot(a, b):    return a @ b
def l2(a, b):     return np.linalg.norm(a - b)

a = np.array([3.0, 0.0])
b = np.array([6.0, 0.0])   # 与 a 同方向，模长翻倍

print(cosine(a, b))        # 1.0  —— 方向相同，夹角为 0
print(dot(a, b))           # 18.0 —— 受模长放大
print(l2(a, b))            # 3.0  —— 端点有距离

# 归一化后，dot 与 cosine 一致
an, bn = a / np.linalg.norm(a), b / np.linalg.norm(b)
print(dot(an, bn))         # 1.0  == cosine(a, b)

03score / recall@k / "近似"

查询返回带分数的结果；recall@k 衡量近似结果命中真实 top-k 的比例。

底层机制（比文档深一层）。"approximate" 不是"算得粗糙"，而是"只检查向量集合的一小部分"。暴力 KNN（exact）把 query 和全部 N 个向量都算一遍距离，复杂度 O(N·d)，recall 恒等于 1.0。ANN（approximate nearest neighbor）索引——图结构（HNSW）或聚类（IVF）——让查询只走访其中很小一撮候选，把 N 降到 log N 量级或某个常数桶，于是快了几个数量级；代价是真正的近邻偶尔不在被走访的那撮里，被漏掉。recall@k = (近似返回的 top-k 中，确实属于真实 top-k 的个数) / k。所以 recall 损失不是 bug，是设计上换来的、可调的代价：旋钮（如 02 章的 ef_search）开大 → 走访更多候选 → recall 升、延迟涨；开小则反之。

规模是分水岭：10 万向量以下，暴力 exact 往往够快（现代 CPU 上几毫秒），还省掉建索引和 recall 调参的复杂度；上了这个量级，ANN 才开始物有所值。本章只建立"近似 = 可量化的召回损失"这一概念；图/量化索引到底怎么做到只走访一小撮，留给 02 章。

04向量数据库 vs RDBMS vs 索引库

数据库 = ANN 索引 + 持久化 + 增量 CRUD + 过滤 + 分布式 + API；少了这些就只是一个索引库。

底层机制（比文档深一层）。把三者按"能力栈"摊开看，差距不在算法而在系统工程：

• RDBMS（MySQL/PG 原生）：索引是 B-tree，只支持精确等值与范围比较，没有"按几何距离排序"的算子。它的世界里没有"相似"，只有"相等 / 大于 / 小于"。（注：PG 装上 pgvector 扩展后获得向量能力，那时它就跨到了"向量数据库"一侧。）
• FAISS 是库不是服务：它是一坨内存里的索引结构，靠 FFI（进程内函数调用）使用。代价是——无持久化（进程退出索引就没了，得自己 dump 文件）；无增量 CRUD（多数索引类型近乎不可变，加删向量往往要重建）；无 metadata 过滤（只认向量，不认"category=A"）；无分布式（单机内存放不下就到头了）；无网络 API（别的语言/服务用不了）。
• 向量数据库（Milvus/Qdrant/Weaviate…）= 在 ANN 索引之上，补齐一个存储系统该有的everything：durability（WAL + 快照，崩溃可恢复）、增量 CRUD（随时 upsert/delete，索引在线维护）、metadata filtering（向量 + 标量条件联合查）、sharding / replication（横向扩展与高可用）、HTTP/gRPC API（跨语言、跨服务调用）。

所以这条分界线一句话：FAISS 是"一个索引算法的实现"，向量数据库是"把这个算法变成能 7×24 在线服务的系统"。多出来的全是数据库该干、而库不干的活。

05核心操作

四个动词：upsert 写入、query 检索 top-k、metadata filtering 按条件筛、delete 删除。

底层机制（比文档深一层）。四个操作各自压着一个机制细节：

• upsert / insert：upsert = update + insert——ID 已存在则覆盖，不存在则新建。机制上"覆盖"通常不是原地改，而是写新版本 + 标记旧版本待回收（与索引的增量维护、后台 compaction 绑定）。所以幂等：同一 ID 重复 upsert 不会产生重复记录。
• query / search：给一个 query 向量，返回距离最近的 top-k，每条带 score。底层就是 02/03 章的 ANN 查询 + 度量打分。
• metadata filtering：除了向量，每条记录还挂标量字段（category、price、时间戳…）。过滤即"先满足标量条件、再在其中找最近邻"，支持嵌套字段（a.b.c）。这步看似简单，却是生产里最难的地方——pre-filter 还是 post-filter、过滤后候选不足，全是典型失败模式，留给 03 章。
• delete：常是软删——先标记墓碑、查询时跳过，空间由后台异步回收。所以删完立刻看存储未必变小。

# 以 Qdrant 风格为例，四类操作一一对应（其它库换个方法名而已）
from qdrant_client import QdrantClient
from qdrant_client.models import PointStruct, Filter, FieldCondition, MatchValue

c = QdrantClient(url="http://localhost:6333")

# 1) upsert：ID 存在则覆盖，幂等
c.upsert("docs", points=[
    PointStruct(id="doc-42", vector=v_doc,
                payload={"category": "billing", "lang": "zh"})
])

# 2) query + 3) metadata filtering：top-k 且只在 category=billing 内
hits = c.query_points(
    "docs", query=v_query, limit=5,
    query_filter=Filter(must=[
        FieldCondition(key="category", match=MatchValue(value="billing"))
    ]),
).points

# 4) delete：软删，后续查询不再返回
c.delete("docs", points_selector=["doc-42"])

06组织单位与术语地雷

collection ≈ 表；但 "index" 一词两义、各家术语不一，是面试与读文档的高频绊脚石。

底层机制（比文档深一层）。术语混乱不是随意的，根在各家抽象层次的切法不同。最大的雷是 "index" 一词两义：