应该做RAG项目的人肯定都遇到过这种场景嘛。就是用户问了一个知识库里压根就没有的问题结果模型倒好一本正经地给你编了一个答案出来。检索那边根本没召回什么相关内容但生成模型就硬是毫不犹豫地脑补了一段看起来还挺专业的回复。这就是RAG场景下最典型的幻觉了——不是说模型编造了什么事实性错误而是说在没有依据的情况下它强行就给你作答了。今天这篇文章就来聊聊这个事儿哈。主要就是怎么判断一个问题已经超出了知识库的范围。然后呢判断出来之后又怎么让模型老老实实地跟你说不知道。而不是硬着头皮去编答案。一、为什么RAG也会产生幻觉很多人可能觉得吧接了检索增强生成之后模型就不会瞎编了对不对。毕竟检索到的内容会作为上下文喂给模型嘛模型照着答就行了。但现实情况是有三种情况都可能出问题。1.检索没召回到东西但模型还是答了。向量检索本身是有召回率上限的。遇到知识库里确实没有的内容检索模块可能返回空结果。也可能返回几条相关性很低的凑数结果。如果生成模型不做判断直接基于这些噪声内容就生成答案了那其实就是在编。2.检索到了内容但和问题根本不匹配。比如知识库里有一篇讲退货政策的文档用户问能不能开发票。向量相似度可能因为都涉及订单就把退货政策文档给检索出来了。模型可能会曲解着用上。答非所问却显得煞有介事。3.检索到的内容不足以支撑完整回答模型却自己补全了。文档只说了支持7天无理由退货用户问退货运费谁承担。模型可能会顺着上下文去合理推测一个答案出来。这类推测在专业场景里风险是极高的。比如法律、医疗、金融这些领域。这三种情况的共同点是什么呢。就是模型没有意识到自己在缺乏依据的情况下作答了。所以要解决幻觉问题先得让系统有能力知道自己不知道才行。二、检测超范围的几种实用方法1. 相似度阈值过滤最基础也最常用的方法了。给检索结果设一个相似度分数的下限。低于阈值的内容直接就不采纳。results vector_db.search(query, top_k5)valid_results [r for r in results if r.score 0.75]if not valid_results: return 抱歉这个问题超出了我的知识库范围。阈值怎么定呢。说实话没有放之四海而皆准的数字。需要拿业务里的真实问答对去做验证集。观察确实相关和确实无关两类问题的分数分布。找到能较好区分两者的临界点。同时要注意一点哈不同embedding模型的分数分布差异很大。换了模型就要重新标定。这个方法简单粗暴但有个明显的缺陷。就是语义相似不等于内容相关。比如问你们公司创始人是谁如果知识库里恰好有一篇讲公司发展历程的文章反复提到团队。相似度分数可能会偏高。但文章里根本没提创始人姓名。这就需要第二层判断了。2. 让生成模型自己做依据充分性判断这是更可靠的一层。不是靠检索分数一刀切。而是把检索到的内容和用户问题一起交给生成模型。先让它自己判断这些材料能不能回答这个问题。再决定要不要生成正式回答。一个常见的prompt结构大致是这样示意非固定模板以下是检索到的参考资料{context}用户问题{question}请先判断上述参考资料是否包含足够信息来回答用户问题- 如果包含请给出【能回答】并基于资料作答注明引用来源。- 如果不包含或只能部分回答请给出【不能回答】或【部分回答】 并说明具体缺少哪方面的信息不要编造未在资料中出现的内容。这种先判断、再作答的两阶段设计呢本质上是逼模型显式地做一次自我核查。而不是看到上下文就顺势往下编。实践中可以把这两阶段拆成两次调用。也可以让模型在一次输出里先给判断标签、再给正文。方便程序解析。3. 引用溯源校验进阶一点的做法。要求模型作答的时候每句关键结论都标注来自哪个文档片段。类似脚注那种。生成完之后用程序或者另一个模型来对比结论和引用片段是否真的对得上。如果结论里的关键信息在引用片段里根本找不到。就判定为疑似幻觉。触发拒答或转人工。这一步相当于给模型的输出加了一道事后质检。尤其适合医疗、法律、金融这类容错率低的场景。4. 设置边界问题测试集持续监控以上方法本质上是防止实时误答。但更长期的做法是建一个已知超范围问题的测试集。定期跑一遍。观察模型的拒答率和误答率变化。知识库会不断更新。今天判定为超范围的问题明天知识库更新后可能就有答案了。反之亦然。需要动态维护才行。三、几个具体例子感受一下差异例子1法律知识库用户问《民法典》里关于离婚冷静期是多久?知识库里恰好有相关条文。检索命中相似度高。模型正常引用条文作答。这是理想情况。用户接着问那我们本地法院对离婚冷静期案件的具体判例有哪些?知识库里只有法条汇编没有判例数据。这时如果检索模块矮子里拔将军硬找了几条相关性一般的条文。模型就不该顺势编几个判例出来。而应该回答类似“知识库中未收录具体判例信息建议查询裁判文书网或咨询专业律师。”例子2企业内部客服知识库用户问我们的年假是多少天?知识库里有明确的员工手册条款。直接命中正常作答。用户问我入职第三年可以休多少天年假如果去年有没休完的年假能不能顺延到今年?如果知识库只写了年假天数随工龄增加的笼统规则没有具体到第三年和顺延规则这两个细节。模型应该明确说明基础规则知道但顺延规则这部分知识库里没有覆盖建议联系HR确认。而不是自己按常理合理推测一个顺延规则出来。例子3产品文档知识库用户问这款软件支持Windows 11吗?文档明确写了支持的操作系统列表。命中后直接引用回答。用户问这款软件在ARM架构的Windows电脑上运行会不会有性能损失?文档只提到了支持Windows完全没有提ARM架构下的性能表现。这种细分到具体场景的问题如果知识库没写。模型应该如实告知文档未提及ARM架构下的具体表现。而不是靠通用知识编一个可能会有轻微性能损失的答案。这类看似合理实则无据的回答恰恰是用户最容易被误导的地方。从这三个例子能看出一个规律哈。幻觉往往不是发生在完全不沾边的问题上的。而是发生在半沾边的问题上。就是说知识库里有相关但不够具体的信息。模型很容易把相关当成够用。顺势就把细节给补全了。这也是为什么单纯的相似度阈值不够。还需要模型自己来做信息是否充分的判断。四、几个容易被忽视的细节拒答话术也要设计好体验。直接甩一句我不知道会显得很生硬。可以引导用户换个问法。或者告知可以去哪里找答案。比如建议联系XX部门这样。既诚实又不失服务感。拒答不等于零输出。可以先回答知识库里确实覆盖到的部分。再明确指出哪部分缺信息。避免用户觉得系统很笨。还有一个要警惕的反面问题。就是过度谨慎。阈值定得太高的话会导致本来能回答的问题也被拒答了。体验反而变差。这是个需要持续调优的平衡点。不是一次配置就能一劳永逸的。写在最后RAG系统的可信度很大程度上取决于它知道自己不知道的能力。相比让模型回答得更全面。让它在没有依据时诚实地说我不确定或者这个问题超出了我的知识范围。往往是提升用户信任感更有效的一步。毕竟对于知识类应用来说一个诚实的不知道远比一个自信满满的错误答案更有价值。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】