1. 从一个被问烂了的问题说起“为什么大厂 RAG 从不用纯向量检索”这个问题我在不同场合被问过不下二十次。有刚入行的算法工程师有做企业知识库的产品经理也有自己捣鼓 AI 应用的全栈开发者。问法大同小异背后的困惑却是一致的向量数据库这两年火得一塌糊涂各种“语义搜索”“相似度召回”的演示效果惊艳为什么真正落到生产环境的大规模 RAG 系统反而很少把向量检索当作唯一手段先说结论纯向量检索在 RAG 里不是不能用而是不够用。它像一个嗅觉灵敏但方向感一般的猎犬能闻到“味道相近”的东西却分不清“你要的到底是哪一只”。大厂的 RAG 系统面对的是千万级甚至亿级的文档、严苛的准确率要求、以及用户对“答非所问”零容忍的体验压力单靠一路向量召回根本兜不住。这篇文章我想把这件事彻底讲透。从向量检索的底层原理讲起说清楚它的能力边界在哪里再拆解大厂 RAG 实际采用的混合检索架构是怎么设计的每一路召回各自解决什么问题最后给出可以直接参考复现的实现方案和踩坑经验。不管你是刚接触 RAG 的新手还是已经在调优检索效果的老手应该都能从中拿到点能直接用的东西。需要提前说明的是文中涉及的具体参数、阈值、权重都是基于常见工程实践给出的参考值不是某个系统的真实配置。不同业务场景差异很大你需要根据自己的数据特点去调。但思路和取舍逻辑是通用的。2. 向量检索到底强在哪又弱在哪2.1 向量检索的核心原理用一句话说清向量检索的本质是把文本映射到一个高维空间里的点然后找离查询点最近的那些点。文本怎么变成点靠 Embedding 模型。比如你输入“如何申请年假”模型输出一个 768 维或 1024 维的浮点数数组这个数组就是这句话在语义空间里的坐标。它的强大之处在于语义泛化。你搜“怎么请假”文档里写的是“休假申请流程”字面上一个词都不重合但向量距离很近照样能召回。这是传统关键词检索做不到的。关键词检索要求字面匹配你搜“请假”它绝不会给你返回“休假”除非你做了同义词扩展。所以向量检索解决的核心问题是用户表达和文档表述不一致时的召回问题。用户不会用文档里的原词去搜他们用自己的话、口语、甚至错别字。向量检索对这种“表达差异”有天然的鲁棒性。2.2 三个致命短板决定了它不能单打独斗但向量检索有三个绕不过去的短板在大规模生产环境里会被无限放大。第一精确匹配能力差。用户搜一个产品型号“XR-2000A”或者一个错误码“ERR_5023”或者一个人名“张伟”向量检索很可能给你召回一堆语义相近但完全不是你要的东西。“XR-2000A”和“XR-2000B”在向量空间里可能挨得极近但用户要的就是 A你返回 B 就是错误。这种精确标识符的检索向量模型几乎无能为力。第二可解释性差调优困难。关键词检索为什么返回这条文档因为包含查询词。清清楚楚。向量检索为什么返回这条因为余弦相似度 0.87。为什么是 0.87 不是 0.86不知道。当召回结果不理想时你很难定位是 Embedding 模型的问题、是切块策略的问题、还是索引构建的问题。调优像在黑箱里摸象。第三对长尾和低频词不友好。Embedding 模型的训练语料决定了它的语义空间覆盖范围。如果你的文档里有大量专业术语、内部代号、新兴词汇这些词在预训练模型里可能根本没有得到充分训练它们的向量表示质量很差检索效果自然拉胯。而关键词检索对低频词一视同仁只要字面匹配就能召回。提示判断你的场景是否适合纯向量检索有个简单的测试——如果你的用户查询里超过 20% 包含专有名词、型号、编号、人名、错误码这类精确标识符纯向量方案基本可以判死刑。2.3 一个生活化类比向量检索像“凭感觉找书”想象一个图书馆。向量检索的做法是你把想找的书描述给管理员听——“一本讲人工智能伦理的、偏哲学思辨的、不太厚的书”。管理员凭感觉在书架间走看到“感觉像”的就抽出来给你。这个方式对模糊需求很有效但如果你说“我要 ISBN 978-7-111-xxxxx 那本”管理员凭感觉找就纯属碰运气了。关键词检索则是另一套管理员直接查索引卡片精确匹配你给的 ISBN 号一找一个准。但它的问题是如果你只说“讲 AI 伦理的书”它可能因为卡片上写的是“人工智能道德”而漏掉。大厂 RAG 的做法是同时雇两个管理员一个凭感觉找一个查卡片最后把两人找到的书合并、去重、重新排序。这就是混合检索的基本思想。3. 大厂 RAG 的真实架构多路召回 融合排序3.1 为什么是“混合”而不是“选一个更好的”很多人第一反应是既然向量检索有短板那我换个更好的 Embedding 模型不就行了或者我把关键词检索做得更智能一点这个思路的问题在于向量检索和关键词检索的短板是互补的不是重叠的。向量擅长语义泛化但弱于精确匹配关键词擅长精确匹配但弱于语义泛化。你换再好的 Embedding 模型也解决不了“XR-2000A”和“XR-2000B”的区分问题因为这是向量表示的本质特性决定的——语义相近的东西在向量空间里就是近的。所以大厂的思路不是二选一而是全都要。让每一路召回发挥自己的长处最后用一个融合排序层把结果统一起来。这个架构在业界有个通用的叫法Hybrid Retrieval混合检索。3.2 典型的多路召回架构拆解一个成熟的大规模 RAG 检索系统通常包含以下几路召回召回路径核心能力适用场景典型实现稠密向量召回语义泛化、表达差异口语化查询、概念性提问Embedding ANN 索引稀疏向量召回关键词权重、精确匹配术语、型号、编号查询SPLADE、BM25 变体关键词召回字面精确匹配错误码、人名、专有名词BM25、倒排索引结构化过滤属性筛选时间范围、类别、权限元数据过滤注意这里我把“稀疏向量召回”和“关键词召回”分开了。稀疏向量比如 SPLADE是学习出来的词权重表示它比传统 BM25 多了语义扩展能力但又保留了词维度的可解释性。很多大厂系统会同时保留 BM25 和稀疏向量两路因为它们在长尾词上的表现有差异。3.3 融合排序层把多路结果拧成一股绳多路召回各自返回一批候选文档后需要一个融合层来合并和排序。主流做法有两种第一种是 RRFReciprocal Rank Fusion倒数排名融合。它不看各路召回的具体分数只看排名。某文档在向量召回里排第 3在关键词召回里排第 7那它的 RRF 分数就是 1/(k3) 1/(k7)k 通常取 60。这个方法的优点是不需要归一化各路分数因为不同召回路的分数尺度完全不同向量相似度是 0 到 1 之间的小数BM25 分数可能是几十甚至上百直接加权求和会出问题。RRF 只看排名天然规避了这个问题。第二种是加权分数融合。先把各路分数归一化到同一尺度比如都映射到 0-1然后按权重求和。权重的设定需要根据业务调通常向量路权重会高一些比如 0.6 到 0.7关键词路 0.3 到 0.4。但这个方法对归一化方式很敏感不同批次的查询分数分布可能不一样归一化参数需要动态调整工程上更复杂。大厂实践中RRF 用得更多因为它简单、稳定、不需要调太多参数。但 RRF 也有缺点它完全丢弃了分数信息只保留排名。如果某一路召回质量明显更高RRF 无法体现这个优势。所以有些系统会采用 RRF 和加权融合的混合策略先 RRF 粗排再用一个精排模型比如 Cross-Encoder对 Top N 结果重新打分。提示如果你刚开始搭混合检索建议从 RRF 入手k 值取 60 是业界常用的默认值。等系统跑起来、有了真实查询日志之后再考虑要不要上加权融合或精排模型。4. 每一路召回的具体实现与参数选择4.1 稠密向量召回Embedding 模型和索引的选择稠密向量召回的核心是两个决策用什么 Embedding 模型用什么 ANN 索引。Embedding 模型的选择主要看你的语言和领域。中文场景下BGE 系列、M3E 系列、GTE 系列都是常见选择。如果你的文档有大量专业术语可以考虑在领域语料上做微调或者用支持长文本的模型比如 BGE-M3 支持 8192 token。模型维度方面768 维和 1024 维是主流维度越高表达能力越强但索引体积和检索延迟也越大。ANN 索引的选择常见的有 HNSW、IVF、PQ 等。HNSW 召回率高、延迟低但内存占用大IVF 内存友好但需要训练且召回率略低。大厂在亿级规模下通常会采用 HNSW PQ 量化的组合在内存和召回率之间找平衡。这里给一个 HNSW 的参考参数配置# 以 FAISS 为例的 HNSW 索引构建参数 index faiss.IndexHNSWFlat(dim, 32) # M32每个节点的连接数 index.hnsw.efConstruction 200 # 构建时的搜索深度 index.hnsw.efSearch 128 # 检索时的搜索深度M 值越大索引质量越高但内存占用越大32 是一个比较均衡的值。efConstruction 影响构建质量和速度200 是常用值。efSearch 影响检索时的召回率和延迟128 在多数场景下够用追求高召回可以调到 256。4.2 稀疏向量召回SPLADE 为什么比 BM25 更受青睐SPLADE 的核心思想是用模型预测每个词的重要性权重而不是像 BM25 那样用词频和逆文档频率算。它输出的还是一个稀疏向量维度等于词表大小但每个维度的值不是简单的 0/1 或词频而是模型学出来的权重。这样做的好处是SPLADE 具备了语义扩展能力。比如查询“手机”SPLADE 可能给“电话”“移动设备”“智能手机”这些词也分配了非零权重从而召回那些没有出现“手机”但语义相关的文档。同时它保留了词维度的可解释性——你能看到哪些词被赋予了高权重。但 SPLADE 的推理成本比 BM25 高因为它需要跑一个 BERT 级别的模型来编码查询和文档。所以很多系统会采用离线预计算文档稀疏向量 在线只编码查询的方式把成本控制在可接受范围内。4.3 关键词召回BM25 依然是那个最稳的兜底BM25 是老牌算法了但它在精确匹配场景下的表现依然能打。它的核心公式是score(D, Q) Σ IDF(qi) * (f(qi, D) * (k1 1)) / (f(qi, D) k1 * (1 - b b * |D| / avgdl))其中 f(qi, D) 是词 qi 在文档 D 中的频率|D| 是文档长度avgdl 是平均文档长度。k1 控制词频饱和通常取 1.2 到 2.0b 控制长度归一化通常取 0.75。BM25 的优势在于零训练成本、可解释、对低频词友好、工程实现成熟。在混合检索架构里它往往是最稳定的那一路。即使向量召回和稀疏向量召回都出了问题BM25 还能兜住基本的精确匹配需求。4.4 结构化过滤被低估的“第四路召回”很多团队在搭 RAG 时只关注语义召回忽略了元数据过滤。但在企业场景下元数据过滤往往是提升准确率最快的手段。比如用户问“2024 年第三季度的销售政策是什么”如果你只做语义召回可能会召回 2023 年甚至 2022 年的政策文档因为它们在语义上高度相似。但如果你在检索时加上时间范围过滤只召回 2024-Q3 的文档准确率会立刻提升一个档次。元数据过滤的实现方式有两种前置过滤和后置过滤。前置过滤是在 ANN 检索之前就筛掉不符合条件的文档效率高但可能影响召回率后置过滤是先检索再筛选召回率高但可能返回大量无效结果。大厂通常采用混合策略先用元数据做粗筛缩小检索范围再在子集上做 ANN 检索。5. 从零搭一套混合检索 RAG 的实操流程5.1 数据准备与切块策略切块是 RAG 里最容易被低估的环节。切块大小直接影响召回质量切得太碎语义不完整切得太大噪声多、检索精度低。我的经验是中文场景下单块 300 到 500 字是比较稳妥的区间。但这不是绝对的要看文档类型。技术文档、法律条文这种结构清晰的可以按章节切对话记录、客服日志这种松散的可以按轮次切。切块时还要注意重叠overlap。相邻块之间保留 10% 到 20% 的重叠可以避免关键信息被切断。比如块大小 400 字重叠 80 字这样每个块的前 80 字是上一个块的尾部保证语义连贯。# 一个简单的切块示例 def chunk_text(text, chunk_size400, overlap80): chunks [] start 0 while start len(text): end start chunk_size chunks.append(text[start:end]) start end - overlap return chunks每个块除了文本内容还要附带元数据来源文档 ID、章节标题、时间戳、权限标签等。这些元数据在后续的过滤和排序中会派上大用场。5.2 多路索引构建数据准备好之后需要构建三套索引稠密向量索引、稀疏向量索引、BM25 倒排索引。稠密向量索引用 FAISS 或 Milvus 构建前面已经给了 HNSW 的参数。稀疏向量索引可以用 Pyserini 或自己实现倒排索引。BM25 索引可以用 Elasticsearch 或 Lucene 构建。这里有个工程细节三套索引的文档 ID 必须对齐。也就是说同一个文档块在三套索引里的 ID 要一致这样融合层才能正确合并结果。建议在切块阶段就生成全局唯一的 chunk_id三套索引都用这个 ID。5.3 查询处理与多路召回用户查询进来后先做预处理分词、去停用词、查询改写可选。然后分别走三路召回def hybrid_retrieve(query, top_k50): # 稠密向量召回 dense_results dense_index.search(embed(query), top_k) # 稀疏向量召回 sparse_results sparse_index.search(encode_sparse(query), top_k) # BM25 召回 bm25_results bm25_index.search(tokenize(query), top_k) # 元数据过滤如果有 filtered_results apply_metadata_filter( [dense_results, sparse_results, bm25_results], query.metadata_filters ) return filtered_results每一路召回的数量建议设大一些比如 50 到 100给融合层足够的候选。召回数量太少融合层没有发挥空间太多则增加延迟和计算成本。5.4 RRF 融合与重排序拿到三路结果后用 RRF 做融合def rrf_fusion(result_lists, k60): scores {} for results in result_lists: for rank, doc_id in enumerate(results): if doc_id not in scores: scores[doc_id] 0 scores[doc_id] 1 / (k rank 1) # 按融合分数排序 sorted_docs sorted(scores.items(), keylambda x: x[1], reverseTrue) return [doc_id for doc_id, _ in sorted_docs]融合后的 Top N比如 20 条可以再过一个 Cross-Encoder 精排模型对查询和文档做深度交互打分进一步提升排序质量。精排模型的计算成本高所以只对少量候选做不能全量跑。5.5 生成阶段的上下文组装检索只是 RAG 的前半段后半段是把召回结果组装成 Prompt 喂给大模型。这里有几个实操要点第一控制上下文长度。不是召回越多越好大模型的上下文窗口有限塞太多反而会稀释关键信息。通常 Top 3 到 Top 5 就够了具体看块大小和模型窗口。第二标注来源。每个块前面加上来源标识比如“[文档A 第3节]”方便模型引用也方便用户溯源。第三处理冲突信息。如果召回的不同块之间有矛盾要在 Prompt 里明确指示模型如何处理比如“如果信息冲突以时间较新的为准”。6. 常见问题与排查技巧实录6.1 召回结果不相关怎么定位是哪一路的问题这是最常见的排查场景。我的做法是分路评估单独跑每一路召回看各自的命中率。如果向量路命中率低可能是 Embedding 模型不适合你的领域或者切块策略有问题如果 BM25 命中率低可能是分词有问题或者查询里的关键词在文档里表述不同。分路评估时建议人工标注一批查询-文档对作为测试集至少 100 条覆盖不同类型的查询精确匹配型、语义泛化型、混合型。然后分别计算每一路的 Recall10、Recall50、MRR 等指标。有了这些数据你就能清楚知道短板在哪一路。6.2 融合后排序反而变差了怎么回事RRF 融合后排序变差通常有两个原因一是某一路召回质量太差拖累了整体。比如 BM25 路因为分词问题召回了一堆无关文档RRF 融合后这些文档的排名被抬高了。解决办法是给每一路设置质量门槛低于阈值的召回结果不参与融合。二是 RRF 的 k 值设置不合理。k 值越小排名靠前的文档优势越大k 值越大各路排名的影响越平均。默认 60 适合多数场景但如果你的某一路召回特别强可以适当调小 k 值让它的排名优势更明显。6.3 长尾查询效果差有什么补救手段长尾查询指的是那些出现频率低、表述特殊的查询。这类查询的难点在于 Embedding 模型可能没见过类似表述向量表示质量差。补救手段有几个查询改写用大模型把长尾查询改写成更规范的表述再检索查询扩展给查询加上同义词或相关词混合检索本身就是一种补救BM25 路对长尾查询的鲁棒性比向量路好。还有一个容易被忽略的点用户点击反馈。如果有用户行为数据可以用点击日志来微调排序模型让系统从真实反馈中学习哪些结果更相关。6.4 性能与延迟的平衡混合检索的延迟是纯向量检索的 2 到 3 倍因为要跑多路召回和融合。在延迟敏感的场景下需要做一些优化优化手段效果代价减少每路召回数量降低融合层计算量可能损失召回率并行执行多路召回降低总延迟需要更多计算资源缓存高频查询结果大幅降低重复查询延迟缓存更新策略复杂用更轻量的精排模型降低重排序延迟排序质量可能下降异步预取提前加载可能用到的索引内存占用增加我的经验是并行召回 缓存是性价比最高的两个优化。并行召回把三路检索同时跑总延迟取决于最慢的那一路而不是三路之和。缓存则能覆盖相当比例的高频查询尤其是企业知识库场景用户问来问去就那些问题。6.5 一个容易被忽略的坑索引更新RAG 系统的文档不是静态的新文档不断进来旧文档需要更新或删除。混合检索架构下三套索引都要同步更新这比单路索引复杂得多。常见的做法是增量更新 定期全量重建。增量更新处理新增和修改的文档定期比如每周全量重建索引清理碎片和过期数据。增量更新时要注意三套索引的一致性建议用一个消息队列来协调更新操作确保三套索引要么都更新成功要么都回滚。提示如果你的文档更新频率很高比如每天都有大量新文档建议把索引更新做成异步任务不要阻塞在线检索。用户查询走旧索引更新在后台慢慢做等新索引构建完成后再切换。7. 一些个人体会和后续可以折腾的方向混合检索这套架构我从最早的单路向量检索一路踩坑踩过来最大的体会是没有银弹只有取舍。向量检索不是不好而是它解决的问题和关键词检索解决的问题不一样。大厂之所以不用纯向量不是因为向量技术不行而是因为生产环境的需求太复杂单一手段覆盖不了。如果你现在正在搭 RAG 系统我的建议是先从 BM25 向量两路混合开始用 RRF 融合跑通之后再考虑加稀疏向量和精排模型。不要一上来就追求大而全的架构先把基础链路跑稳有了真实数据和反馈之后再逐步优化。很多团队一上来就堆各种召回路和模型结果调优成本高得吓人效果反而不如一个简单的两路混合。后续可以折腾的方向我觉得有三个比较有意思一是自适应检索根据查询类型动态决定走哪几路召回精确匹配型查询多走 BM25语义泛化型查询多走向量二是端到端可微的检索排序把召回和排序联合训练而不是分开优化三是多模态混合检索把文本、图片、表格都纳入统一的检索框架。这些方向目前都有一些研究但离成熟落地还有距离值得持续关注。最后分享一个小技巧在 Prompt 里明确告诉模型“如果召回内容不足以回答问题请直接说不知道”。这能大幅降低幻觉率。混合检索提升了召回质量但召回质量再高也总有覆盖不到的问题。让模型学会说“不知道”比让它硬编一个答案要靠谱得多。