什么是RAG检索增强生成你有没有问过 ChatGPT 一个关于你们公司的问题然后它一本正经地编了一个不存在的制度我遇到过。那一刻我就知道光靠模型自己知道的东西很多场景根本不够用。这就是 RAG 要解决的问题。RAG 全称 Retrieval-Augmented Generation翻译过来就是检索增强生成。听着唬人其实思路特别简单模型回答之前先让它去翻一下你给的资料带着资料再回答。不是重新训练模型也不是把一万页文档硬塞进 prompt而是在问答中间插一个先查后说的步骤。为什么光靠大模型不行大模型确实强但落实到实际业务里有三个挺要命的问题你的数据它没见过公司制度、项目文档、接口定义、客户沟通记录——这些信息从来不在训练数据里。知识会过期模型训练完之后的事它一概不知你的制度改了它也不知道。没依据的时候它硬编这就是幻觉hallucination。问它一个它不知道的事情它不会说不知道而是给你编一个看起来特别像真的答案。RAG 就是把回答拴在真实资料上让它没法瞎编。流程到底怎么跑的不复杂就这七步你提问理解/改写问题去知识库里搜捞相关片段重排过滤拼成上下文模型基于这些资料回答给你答案附带来源一句话概括就是提问 → 找资料 → 带资料问模型 → 出答案一个真实场景假设你给公司搭了个 AI 助手同事问高铁一等座能报销吗没 RAG 的时候模型只能猜。它可能说大部分公司可以也可能编出一个报销流程但跟你公司实际制度没半毛钱关系。有 RAG 的时候系统先去翻你们的《差旅报销制度.md》《财务审批规则.pdf》找到相关段落然后交给模型请只基于以下制度原文回答用户问题。 如果制度里没明确写请直接说当前资料未提及不要自己推断。这样出来的答案有明确结论带原文引用不确定的地方单独标出来告诉你接下来该问谁这才是企业里真正能用的 AI。RAG 里面都有啥一个完整的 RAG 系统拆开来大概长这样环节干嘛的容易翻车的地方文档采集把 PDF、网页、数据库的东西收进来数据源不全文档清洗去掉页眉页脚、格式乱码这些脏东西标题层级、表格给洗没了文档切片把长文档切成一段一段方便检索切太碎了没上下文切太大了搜不准Embedding把文字转成向量数值化表示语义理解不到位向量数据库存向量和元数据检索慢了用户等不了召回从库里找可能相关的片段漏掉了真正有用的重排从候选里挑真正最相关的排在前面的其实不相关生成基于资料让模型回答没引用来源还是编的评估检查回答质量能不能用不做评估就不知道改了到底有没有变好别被这表吓到你刚开始做 MVP 的时候其实只用到前三列就够了后面是优化的事了。RAG 和微调Fine-tuning到底怎么选这是被问得最多的问题。RAG微调适合干嘛查资料、问文档、知识经常变学会特定风格、格式、任务习惯更新数据改知识库就行一般得重新训能追溯吗能答案可以标出原文来源难说不清为什么这么答成本工程搭建麻烦但更新灵活训练烧钱典型用法企业知识库、客服、合同问答分类器、风格迁移、特定的输出格式一个粗暴的判断方法你需要的是一双能查资料的眼睛还是学会某种做事方式的手前者用 RAG后者再考虑微调。大部分实际落地的场景RAG 就够用了。做 RAG 最容易踩的坑切片切蹦了这是最常见的翻车点。切太大比如一章一章的搜出来的东西太泛模型找不到精确答案。切太小比如一句一句的搜到的是孤立的句子前后因果关系全丢了。实际经验技术文档按标题层级切FAQ 按问答对切制度文档按条款切不管怎么切前后留一点重叠别让上下文断掉只靠向量检索向量检索擅长找意思差不多的内容但找精确的东西不一定稳产品型号 HX-850 和 HX-580向量可能觉得差不多订单号、工号、版本号这些更适合直接用关键词匹配所以实际系统一般是混合检索关键词检索候选池向量检索业务过滤重排最终给模型的上下文忘了权限别把全公司的文档倒进一个池子谁都能查。每个文档片段该带上部门、项目、权限级别这些标签检索的时候该过滤就过滤。不然 HR 的数据被研发同事搜到了就尴尬了。不做评估集很多人搭完 RAG 跑了一下觉得还行就上线了。过两周用户反馈说怎么搜不到的时候你完全不知道改切片大小还是换 Embedding 模型。提前准备四类测试题经常被问的真实问题容易搞混的问题比如两个相似的制度条款资料里根本没有答案的问题测它会不会瞎编跨部门权限的问题测能不能拦住哪些场景值得搞 RAG企业制度问答报销、请假、绩效这些产品文档助手API 文档、使用手册内部研发知识库架构设计、历史决策、on-call 手册客服辅助回复查历史工单、产品知识合同条款检索法务、采购最需要代码仓库问答“这个接口谁写的干什么用的”售前资料检索方案、案例、报价这些场景有一个共同点答案必须来自资料不能让模型拍脑袋。延伸阅读LangChainBuild a RAG agentLlamaIndexIntroduction to RAGOpenAIFile SearchOpenAI CookbookEvaluate RAG with LlamaIndexRAG 说白了就是让大模型从凭记忆瞎猜变成翻完资料再说话。 感谢阅读想了解更多 我的博客网站 | 记录思考分享干货 我的个人主页 | 关于我、开源项目