一、RAG 整体概述1. 核心概念RAG检索增强生成是搭建Agent共享知识库的核心技术核心逻辑结合大语言模型的理解、文本生成能力 外部知识库海量、可实时更新的内容解决痛点LLM训练数据存在时间截止无法获取最新资讯、企业内部私有文档无需重新训练模型即可扩充知识边界。2. 标准工作四步流程用户输入问题检索稠密稀疏检索并行召回Top-K相关文本块增强将用户问题 检索到的知识片段拼接构造完整Prompt生成LLM依托参考资料输出最终答案示例查询故意杀人罪量刑检索片段《刑法》第232条法条内容拼接Prompt依据法条回答问题附上法条原文用户提问输出结果结合法条给出清晰量刑说明二、前置离线处理文档分块 Chunking正式检索前必须对长文档预处理拆分拆分必要性嵌入模型有输入长度上限整文档向量混杂多个主题语义模糊整块文本过长会带入大量无关内容占用上下文窗口稀释有效信息三种主流分块方案固定大小切分按固定token长度切割常用512token块间设置重叠50~100token避免语句被截断优点实现简单、效果稳定缺点无视文档结构段落、代码、表格容易被生硬切断递归结构感知切分生产环境首选顺着章节标题、段落、换行等文档天然边界逐层拆分Markdown、HTML结构化文档适配性极强语义切分计算相邻句子嵌入相似度语义差距大的位置进行切割保证单个文本块主题统一优点拆分质量最优缺点需要额外嵌入计算资源开销更高调参权衡经验常规配置单块 256~1024 token块重叠占比10%~20%块过小信息残缺指代不明语义不完整块过大多主题混杂向量精度下降冗余内容过多固有缺陷分块会割裂原文上下文指代关系该问题后续通过上下文感知检索优化三、稠密嵌入检索语义匹配路线1. 嵌入 Embedding 原理把文字转化为高维数字向量语义相近的文本向量空间距离更近稠密向量向量绝大多数维度均存在数值依靠余弦相似度判定语义相似度余弦相似度越趋近于1文本语义越接近只关注向量方向不受文本长短影响经典语义规律国王 - 男性 女性 ≈ 女王向量运算可承载语义逻辑2. 稠密嵌入技术演进Word2Vec(2013)静态词向量一词固定一个向量无法区分一词多义BERT上下文感知向量依靠自注意力机制一词多语境生成不同向量上限512tokenSentence-BERT专为句子相似度设计适配检索场景BGE-M3新一代多模态嵌入模型同时输出稠密、稀疏向量支持长文本、多语言3. 海量向量快速检索ANN近似最近邻数据量巨大时无法逐句计算相似度依靠索引算法快速近似查找主流两类算法对比特性ANNOYHNSW构建速度更快偏慢内存占用更低较高增量更新不支持需全量重建支持实时新增数据检索精度较好极高适用场景静态不变知识库动态持续更新知识库四、稀疏嵌入检索关键词精准匹配路线核心基于词袋模型依靠关键词字面匹配向量绝大部分维度数值为0主流算法TF-IDF → BM25工业通用标准1. 核心计算逻辑TF词频词汇在单篇文档内出现次数IDF逆文档频率词汇在全部知识库的稀有程度生僻专业词汇权重远高于通用助词BM25新增两项修正k1词频饱和系数词汇重复多次不会无限拉高分数规避长文档堆砌关键词占便宜b文档长度归一化平衡长短文档打分公平性2. 底层存储倒排索引存储结构词汇 → 所有包含该词的文档列表优势输入关键词可瞬间定位全部相关文档是搜索引擎底层基础3. 优劣与进阶优点专业术语、代码、人名检索精准结果可解释缺点无法识别同义词、同义句式进阶SPLADE、BGE-M3稀疏分支学习型稀疏检索结合神经网络赋予词汇语义权重五、混合检索稠密稀疏融合方案两种检索各自短板稠密检索擅长语义同义匹配容易遗漏专业关键词、编号稀疏BM25关键词精准命中无法理解同义表达完整流水线三阶段并行召回稠密、稀疏检索分别独立召回一批候选文档结果融合RRF倒数排名融合最常用抛弃原始分值仅依据排名计算综合分数简单稳定分值归一化加权融合保留相似度、BM25原始分值调参复杂度更高神经重排序Rerank架构区分检索阶段双编码器文本分开编码速度快、精度一般重排序阶段跨编码器查询与文档拼接共同输入模型深度语义交互打分精度大幅提升速度偏慢作用对融合后的候选文档精细二次排序是生产RAG提升效果的关键环节检索效果三大评估指标Recallk 召回率相关文档是否进入前k条结果RAG核心指标MRR平均倒数排名衡量首个有效结果的靠前程度nDCG综合全部文档相关性与排序位置评估整体列表质量六、多模态信息摄取PDF/图片/语音知识库不止纯文本三类处理方案取舍原生多模态编码效果最优ViT视觉编码器将图像转为视觉token和文本纳入统一语义空间完整保留图表、版式、空间位置信息适合复杂报表、图文PDFOCR转录提取文本低成本通用图片、PDF、语音全部转纯文本兼容整套RAG链路缺陷丢失版式、图表视觉信息工具按需调用折中方案基础检索依靠文本摘要遇到图表、复杂版式时调用图像/PDF解析工具深度读取兼顾成本与灵活性