为什么有了大模型还需要RAG幻觉、私有知识、时效性四大问题真实的困境假设你们公司有几千份内部文档产品手册、操作规范、历史项目经验、客户合同…领导想做一个AI问答系统让员工随时可用问”我们的退款政策是什么“、”这个客户签了那些条款“系统能直接给出准确答案你直接用大模型来做第一轮测试效果还不错—但很快发现几个绕不开的问题模型对公司内部文档一无所知回答全靠编产品文档上周刚更新但模型说的还是老版本的内容模型回答的很流畅但根本无法知道他说的是真是假也无法追溯来源文档加载到Prompt里面token成本高到无法接收这个不是模型的能力不够而是大模型作为一种技术有几个根本性的天花板—而RAG就是为了突破这些天花板而诞生的大模型的局限性幻觉问题大模型的本质就是一个概率语言模型它在生成每个token时做的是”预测下一个最可能的词“而不是”从知识库里面查询正确的答案“这意味着当他不知道答案时他不会说“我不知道”他会生成一个听起来最合理的答案。这个答案可能完全是捏造的但是语气鉴定、格式工整让人难以判断真假在企业场景里面幻觉的危害远比“回答错误”更严重—他会以可信的方式传播错误信息而用户毫不知情私有知识问题大模型是在公开数据上训练的。你们公司的文档、客户合同、产品手册、会议记录这些内容它从没有见过也不可能知道有人会想那把文档全部放进Pompt里面对于少量文档这是可行的但是当文档量达到几百份、几千份时。token成本和上下文长度都会变成瓶颈。而且模型在极长上下文里面的注意力会严重稀释对中间内容的利用率极低知识更新问题模型的训练是有截止日期的通常落后现实6个月到一年。产品价格变了政策修订了新的竞争对手出现了—这些模型全不知道你不可能每隔几个月就重新训练一遍模型来“更新知识”这在成本和时间上都不可接受可追溯性问题当模型给出一个答案时它无法告诉你“这句话来自文档的第几页”对于法律、医、金融等对准确性要求极高的场景没有来源引用的答案往往是不可接受的RAG是怎么应对大模型的缺点的RAG的全称是Retrieval-Augmented Generation,检索增强生成。他的核心思路非常直觉在让模型回答之前先去知识库里面检索出来最相关的内容把这些内容作为上下文一起喂给模型让模型“看着资料”来回答RAG针对四个问题都有应对对幻觉问题检索到的原文片段作为上下文传入模型模型被要求“根据以下资料回答”而不是凭空生成。有了事实依据的约束幻觉概率大幅度降低—但注意不是归零对私有知识问题知识库完全由你自己构建和维护可用包含任何内部文档模型不需要知道只写内容只需要在被检索到的片段基础上进行推理和组织语言对知识更新问题更新知识库不需要重新训练模型只需要更新文档、重新做向量化索引即可。知识的新鲜度完全由知识库决定和模型训练的截止日期解耦对可追溯更新问题每次检索都能知道具体命中了那份文档的那个片段可以自行检查RAG不是万能的什么场景适合什么场景不适合很多人看到RAG的思路之后产生了一个误区是不是所有的大模型应用都应该加RAG适合RAG的场景知识密集型的问答系统比如企业内部的知识库、产品手册问答、法律法规查询—这类场景对事实准确性要求高内容量大而且需要明确的来源追溯内容频繁更新的业务比如新闻摘要、竞品分析、政策解读—这类场景下知识库可以持续接入实时数据而模型本身不需要动长尾事实查询比如我们公司在上海办公地址是什么这个合同的甲方是谁这类问题的答案藏在特定的文档里面必须检索才能找到