摘要检索到的文档块不能直接扔给用户得让模型读了资料再回答。本文讲怎么把Milvus转成Retriever、把文档块整理成上下文、写RAG专用的Prompt以及最终拼成一条完整的RAG Chain。顺带处理一个问题资料不足时让模型老实说不知道。一、什么是RAGRAG全称Retrieval-Augmented Generation检索增强生成。核心思路就三步用户提问 → 从知识库检索相关资料 → 把资料和问题一起交给模型生成答案RAG不训练模型不改模型参数只是在调用时往Prompt里塞外部资料。二、为什么需要RAG模型不知道企业内部资料。DeepSeek不知道你们公司的考勤制度你得把制度文档喂给它。模型知识不是最新的。企业制度、产品价格随时在变RAG用最新资料就能答最新问题。模型可能编造答案。不知道的时候会硬编RAG可以要求它不知道就说不知道。回答需要展示来源。企业场景不仅要答案还得告诉用户这是来自员工手册第3页。三、RAG的两个阶段索引阶段加载文档→切分→向量化→存Milvus。跑一次就行资料变了再重跑。问答阶段用户提问→检索相关块→组装Prompt→模型生成答案。每次问答都要走一遍。第七章做了索引阶段本章做问答阶段。四、Retriever检索器Retriever是LangChain里统一的检索接口。输入字符串问题返回Document列表。pythonfrom langchain_milvus import Milvus from utils.model_factory import get_embeddings embeddings get_embeddings() vector_store Milvus( embedding_functionembeddings, connection_args{host: localhost, port: 19530}, collection_nameknowledge_base ) retriever vector_store.as_retriever(search_kwargs{k: 3}) docs retriever.invoke(员工迟到怎么处理) for doc in docs: print(doc.page_content) print(doc.metadata)VectorStore负责存向量和相似度搜索Retriever负责根据问题返回文档这个动作。RAG Chain通常依赖Retriever。五、案例一使用Retriever检索文档pythonfrom langchain_milvus import Milvus from utils.model_factory import get_embeddings embeddings get_embeddings() vector_store Milvus( embedding_functionembeddings, connection_args{host: localhost, port: 19530}, collection_nameknowledge_base ) retriever vector_store.as_retriever(search_kwargs{k: 3}) question 公司对迟到早退有什么规定 docs retriever.invoke(question) for i, doc in enumerate(docs, 1): print(f结果{i}) print(f内容{doc.page_content[:150]}...) print(f来源{doc.metadata.get(file_name)}) if doc.metadata.get(page) is not None: print(f页码{doc.metadata.get(page) 1}) print(- * 40)六、整理文档上下文Retriever返回的是Document列表不能直接塞进Prompt。需要把多个文档块拼成一段上下文文本pythondef format_documents(docs): if not docs: return 未找到相关资料。 parts [] for i, doc in enumerate(docs, 1): source doc.metadata.get(file_name, 未知来源) page doc.metadata.get(page) if page is not None: source_info f【资料{i}】来自《{source}》第{page 1}页 else: source_info f【资料{i}】来自《{source}》 parts.append(f{source_info}\n{doc.page_content}) return \n\n.join(parts)七、编写RAG专用PromptRAG Prompt要告诉模型四件事你是谁、用户问了什么、可以参考什么资料、资料不够怎么办。pythonfrom langchain.prompts import ChatPromptTemplate template ChatPromptTemplate.from_messages([ (system, 你是企业知识库助手。请严格根据以下参考资料回答用户问题。 参考资料 {context} 规则 1. 只根据参考资料回答不要使用自己的知识 2. 如果参考资料中没有相关信息明确说资料中没有提到 3. 不要编造答案 4. 引用资料时注明来源文件名称), (human, {question}) ])资料不足时说不知道这条规则很关键能有效降低模型瞎编的概率。八、案例二手动完成一次RAG问答先拆开步骤写理解之后再上LCELpythonfrom langchain_milvus import Milvus from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from utils.model_factory import get_deepseek_model, get_embeddings embeddings get_embeddings() model get_deepseek_model(temperature0.1) parser StrOutputParser() vector_store Milvus( embedding_functionembeddings, connection_args{host: localhost, port: 19530}, collection_nameknowledge_base ) retriever vector_store.as_retriever(search_kwargs{k: 3}) def format_documents(docs): parts [] for i, doc in enumerate(docs, 1): source doc.metadata.get(file_name, 未知) parts.append(f【资料{i}】来自《{source}》\n{doc.page_content}) return \n\n.join(parts) template ChatPromptTemplate.from_messages([ (system, 根据参考资料回答问题。参考资料\n{context}\n如果资料中没有相关信息就说不知道。), (human, {question}) ]) # 手动走三步 question 员工每年有几天年假 docs retriever.invoke(question) context format_documents(docs) prompt template.invoke({context: context, question: question}) response model.invoke(prompt) answer parser.invoke(response) print(answer)三步走完检索→格式化→生成。九、使用LCEL组合RAG ChainRetriever也是Runnable可以接入LCEL管道pythonfrom langchain_core.runnables import RunnablePassthrough from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from utils.model_factory import get_deepseek_model model get_deepseek_model(temperature0.1) parser StrOutputParser() def format_documents(docs): parts [] for i, doc in enumerate(docs, 1): source doc.metadata.get(file_name, 未知) parts.append(f【资料{i}】来自《{source}》\n{doc.page_content}) return \n\n.join(parts) template ChatPromptTemplate.from_messages([ (system, 根据参考资料回答问题。参考资料\n{context}\n如果资料中没有相关信息就说不知道。), (human, {question}) ]) chain ( { context: retriever | format_documents, question: RunnablePassthrough() } | template | model | parser ) result chain.invoke(员工每年有几天年假) print(result)数据流动输入问题→context分支走检索格式化question分支原样透传→合并成字典→进Prompt→进模型→进Parser。十、LCEL写法的一个限制上面这条链直接返回字符串答案拿不到来源信息。如果还要展示来源得再查一次但两次检索结果可能不一样。所以完整案例改用服务函数封装答案和来源用同一次检索结果pythondef rag_answer(question): docs retriever.invoke(question) context format_documents(docs) prompt template.invoke({context: context, question: question}) response model.invoke(prompt) answer parser.invoke(response) sources extract_sources(docs) return answer, sources答案和来源用同一批docs不会对不上。十一、在回答中展示来源从metadata里读来源不要靠模型自己猜pythondef extract_sources(docs): seen set() sources [] for doc in docs: file_name doc.metadata.get(file_name, 未知文件) page doc.metadata.get(page) key f{file_name}_{page} if key not in seen: seen.add(key) if page is not None: sources.append(f《{file_name}》第{page 1}页) else: sources.append(f《{file_name}》) return sources用set去重避免多个文档块来自同一文件同一页时重复展示。十二、资料不足时拒绝编造资料里没有的信息让模型明确说不知道。Prompt里写清楚规则然后测试pythonquestion 公司年终奖怎么发 # 知识库里没有 answer, sources rag_answer(question) print(answer) # 预期输出类似资料中没有提到年终奖的相关信息需要说明大模型不是程序不能保证100%遵守规则。正式项目还要结合相似度阈值、测试集验证等手段。十三、企业案例内部知识库问答系统项目结构textknowledge_base/ # 原始文档 build_index.py # 第七章建索引 rag_service.py # RAG服务封装 main.py # 终端交互程序rag_service.pypythonfrom langchain_milvus import Milvus from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from utils.model_factory import get_deepseek_model, get_embeddings class RAGService: def __init__(self, collection_nameknowledge_base): self.embeddings get_embeddings() self.model get_deepseek_model(temperature0.1) self.parser StrOutputParser() self.vector_store Milvus( embedding_functionself.embeddings, connection_args{host: localhost, port: 19530}, collection_namecollection_name ) self.retriever self.vector_store.as_retriever(search_kwargs{k: 3}) self.template ChatPromptTemplate.from_messages([ (system, 你是企业知识库助手。严格根据参考资料回答用户问题。 参考资料 {context} 规则 1. 只根据参考资料回答 2. 资料中没有相关信息时明确说资料中没有提到 3. 不编造答案 4. 引用资料时注明来源文件), (human, {question}) ]) def _format_docs(self, docs): parts [] for i, doc in enumerate(docs, 1): source doc.metadata.get(file_name, 未知文件) parts.append(f【资料{i}】来自《{source}》\n{doc.page_content}) return \n\n.join(parts) def _extract_sources(self, docs): seen set() sources [] for doc in docs: file_name doc.metadata.get(file_name, 未知文件) page doc.metadata.get(page) key f{file_name}_{page} if key not in seen: seen.add(key) if page is not None: sources.append(f《{file_name}》第{page 1}页) else: sources.append(f《{file_name}》) return sources def ask(self, question): docs self.retriever.invoke(question) context self._format_docs(docs) prompt self.template.invoke({context: context, question: question}) response self.model.invoke(prompt) answer self.parser.invoke(response) sources self._extract_sources(docs) return answer, sourcesmain.pypythonfrom rag_service import RAGService def main(): rag RAGService() print(企业知识库问答系统已启动输入exit退出) while True: question input(\n问题).strip() if question.lower() exit: break if not question: continue answer, sources rag.ask(question) print(f\n答案{answer}) if sources: print(f\n来源{, .join(sources)}) if __name__ __main__: main()运行前确保已执行build_index.py建好索引。十四、search_type调整检索方式similarity默认按相似度从高到低取前k个。简单直接但文档块内容重叠时容易返回重复信息。MMRMaximum Marginal Relevance先多取一些候选fetch_k再从中挑选既相关又多样化的k个结果避免重复。pythonretriever vector_store.as_retriever( search_typemmr, search_kwargs{k: 3, fetch_k: 10, lambda_mult: 0.5} )lambda_mult越靠近1越偏向相似度优先越靠近0越偏向多样性优先。文档切片重叠多时用MMR切片内容独立时用similarity。十五、k值怎么设k太小可能遗漏资料k太大可能混入无关内容、增加token消耗。从k3或k5开始试根据真实问题效果调整。十六、RAG调试顺序回答不对时按顺序查打印检索结果确认文档对不对pythondocs retriever.invoke(question) for doc in docs: print(doc.page_content)打印格式化后的上下文确认模型实际收到了什么pythoncontext format_documents(docs) print(context)确认检索正确后再调Prompt。顺序是数据→切分→检索→Prompt→模型从前往后查。常见问题检索正确但回答错误查Prompt是否明确要求根据资料回答、上下文是否完整传入、多个文档间是否有冲突。打印最终Prompt能看到模型实际收到了什么。检索结果就是错的问题在检索阶段切分不合理、Embedding效果差、k值不对、文档缺少用户常用表达。改Prompt没用得改索引。文档更新后回答还是旧的向量库里存的还是旧数据重新跑build_index.py。RAG能完全避免幻觉吗不能。只能明显降低概率还需要清晰的Prompt、高质量的检索、测试集验证和必要的人工审核。