文章目录1 开局需求来得比早高峰地铁还猛1.1 我当时有多飘1.2 现实打脸有多快2 第一个大坑文档分块切得稀碎2.1 固定分块有多坑爹2.2 靠谱的分块怎么搞3 向量数据库别上来就整花活3.1 FAISS的翻车现场3.2 最后选了啥方案4 Embedding模型中文场景别迷信洋模型4.1 ada-002在中文里有多拉胯4.2 国产模型才是真香5 检索优化单靠向量真不够5.1 纯向量检索的软肋5.2 混合检索加重排才是王道6 Prompt工程让AI好好说人话6.1 之前的回答有多离谱6.2 防幻觉的硬规矩7 上线才是考验Demo和生产是两个世界7.1 三座大山延迟、稳定性、成本7.2 三层兜底架构8 成本优化老板眼里只有钱8.1 全用GPT-4太败家8.2 分级路由省大钱9 最后复盘别神化RAG也别小瞧P.S. 无意间发现了一个巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看 传送门https://blog.csdn.net/qq_344193121 开局需求来得比早高峰地铁还猛1.1 我当时有多飘周一早上九点我刚把工位加湿器拧开咖啡还没抿第一口产品经理老王抱着电脑就坐我旁边了。那架势跟班主任抓自习课玩手机似的开门见山老板要两周上线智能客服替代3个客服人力。我一口咖啡差点呛进气管。每天800条咨询退换货、物流、会员十几个业务线两周用AI搞定当时我心里还窃喜不就是RAG嘛LangChain拖过来向量库存文档调个GPT接口一下午就能跑通Demo。现在想想那时候的我跟刚学会加减乘除就想去算微积分的小学生没区别。Demo和生产之间隔的不是一道墙是一片海。1.2 现实打脸有多快花两天搭完第一版FAISS存了200条FAQada-002做向量GPT-4生成自己测了几条感觉稳了。结果老王上来就问我买的耳机能不能退货系统返回了一大段耳机保修政策答非所问。再问怎么申请退款系统回了句“您可以联系客服处理”。智能客服让用户找人工搁这儿套娃呢那天下午我就知道这项目没那么简单真正的踩坑之旅才刚开始。2 第一个大坑文档分块切得稀碎2.1 固定分块有多坑爹最开始我图省事直接按512token一刀切跟切速冻饺子似的管你语义连不连贯到长度就给你砍断。结果用户问退换货政策返回的内容半截话“以下商品不支持退换”后面直接没了。6条例外规定前3条在这个chunk后3条在下一个向量检索只召回了前半段。不知道的还以为我们家政策藏着掖着故意不说用户看个回答还得自己拼拼图是吧2.2 靠谱的分块怎么搞我对比了三种主流分块方案固定长度适合快速原型语义分块适合长文档递归分块最适合企业知识库。最后选了递归字符分块但自定义了分隔符优先级——先按markdown标题切再按段落再按句号最后才是字符数硬切。chunk_size调到800重叠设200确保列表、表格这种结构化内容不会被拦腰砍断。改完再测退换货政策终于能完整返回了不用用户自己脑补后半截。3 向量数据库别上来就整花活3.1 FAISS的翻车现场最开始用FAISS200条FAQ的时候跑得飞快我还夸它小巧玲珑不占地方。等把完整知识库5000条chunk灌进去内存直接干到8G当场OOM给我看程序崩得比我心态还快。更坑的是它纯内存存储服务重启一次就得重新加载全部向量40秒启动时间。生产环境用户点进来还得等系统热身搁这开奥运会赛前热身呢3.2 最后选了啥方案调研了一圈主流向量库FAISS适合原型Chroma适合开发Pinecone省心但不能存隐私数据Milvus适合大规模生产。我们数据不能上云最后定了两套环境开发用Chroma嵌入式直接import调试起来贼方便生产用Milvus持久化存储还能分布式扩展。该省的省该稳的稳开发求效率生产求稳定两头都不耽误。4 Embedding模型中文场景别迷信洋模型4.1 ada-002在中文里有多拉胯这是我踩得最狠的一个坑。一开始图省事用了OpenAI的ada-002英文场景确实能打。可咱们知识库全是中文用户提问也全是中文啊。这模型处理中文就像老外念唐诗字都认识连起来啥意思全靠猜。用户问“怎么退款”它给匹配成“退款进度查询”就是找不着“退款申请流程”。合着在它眼里“退款”和“提现”比“退款”和“退货”还亲是吧召回率直接卡在62%惨不忍睹。4.2 国产模型才是真香我测了四款模型从ada-002到最新的embedding-3-small再到国产的m3e和bge。换上bge-large-zh-v1.5的那一刻我直接眼前一亮——召回率直接飙到89%。“怎么退款”终于能精准匹配到“退款申请流程”语义理解能力直接上了一个台阶。说真的中文场景就别硬用英文通用模型了。国产专门优化过的模型效果差距真不是一点半点。追求轻量选m3e追求效果直接上bge闭着眼选都不踩坑。5 检索优化单靠向量真不够5.1 纯向量检索的软肋换完模型召回率到89%但还是有离谱的情况。比如用户问“怎么退款”知识库相关文档标题是“退货流程”语义上接近吧但top1偶尔会蹦出一条完全不相关的“账户安全”。原因很简单纯向量检索对关键词精确匹配很弱。它觉得“退款”和“提现”都是把钱拿出来语义更近反而把正经答案挤后面去了。这就像你去饭店买包子服务员给你拿了个馒头说反正都是面做的你说气不气。5.2 混合检索加重排才是王道解决方案就是混合检索BM25负责关键词精确匹配向量检索负责语义理解两路结果用RRF算法融合排序。BM25专门抓“退款”这种关键词有这个词的文档直接加分向量检索负责理解句子意思两者刚好互补。最后再加一层cross-encoder重排序对召回的top20做精排。速度虽然慢一点但精度高很多好钢用在刀刃上。这套组合拳打下来召回率直接冲到95%。用户说“东西坏了想换”也能精准匹配到“商品质量问题退换货”再也不驴唇不对马嘴了。6 Prompt工程让AI好好说人话6.1 之前的回答有多离谱检索质量上去了用户吐槽还没停。两个核心问题太啰嗦爱瞎编。用户问个退货流程GPT-4能洋洋洒洒写三段从退换货政策出台背景讲到注意事项最后才说操作步骤。用户就想知道点哪个按钮你搁这儿写说明文呢更气人的是幻觉。知识库里根本没有会员等级折扣这回事它能自己编个9折优惠出来。用户照着操作找不着功能转头就投诉。合着AI为了讨好用户还敢私自给公司加福利是吧6.2 防幻觉的硬规矩我重新写了客服专用的Prompt模板核心就三件事角色设定、知识库注入、硬性约束。首先明确身份是商城客服语气要专业亲切回答要直接给操作步骤别扯没用的。然后把检索到的内容明确塞进去告诉它只能用这些内容回答。最关键的是三条铁律没检索到就说转人工不许瞎猜所有事实必须有原文依据涉及钱的操作必须提醒确认。改完之后效果立竿见影。回答变成了清晰的编号步骤简洁明了幻觉率直接压到5%以下。7 上线才是考验Demo和生产是两个世界7.1 三座大山延迟、稳定性、成本Demo跑通了就完事太天真了。真到生产环境问题全冒出来了。首先是延迟。完整链路走下来向量生成、混合检索、重排序、大模型生成平均要4-6秒。用户等3秒就觉得卡了6秒人家早就切页面骂街了。然后是稳定性。有天OpenAI接口抽风响应直接飙到30秒大量请求超时。智能客服直接瘫痪用户全涌去人工客服。本来是去减负的结果给人添乱了那天客服小姐姐看我的眼神都带刀。最后是成本。全用GPT-4一天800条查询花费真不少。而且40%的问题都是重复的纯纯浪费钱。7.2 三层兜底架构针对这三个问题我搞了三层保障架构。第一层是缓存。用Redis存历史问题的答案相同问题直接返回延迟降到50毫秒以内还省了大模型调用费。第二层是超时降级。大模型调用设5秒超时超时了自动切到规则引擎兜底。规则引擎就是一套关键词匹配的逻辑虽然没AI灵活但至少不会挂能顶一阵。第三层是置信度判断。检索结果分数太低的直接转人工不强行回答免得答错了挨骂。改完之后平均延迟从4.8秒降到1.2秒可用性从92%升到99.5%稳得一批。8 成本优化老板眼里只有钱8.1 全用GPT-4太败家上线第一周老板找我谈话第一句就是这玩意儿一天烧多少钱我心里咯噔一下合着项目能不能活全看成本够不够。算了一笔账每条查询大概消耗2000token全用GPT-4的话一个月一千五百刀。老板听完脸都绿了那表情跟我花了他私房钱似的。8.2 分级路由省大钱办法总比困难多。我搞了个分级路由策略简单问题用GPT-3.5复杂问题才上GPT-4。怎么判断复杂带投诉、纠纷、赔偿、异常这些关键词的或者检索结果特别多的就算复杂问题。剩下的常见问题、操作指引全交给3.5处理效果差不了多少成本只有十分之一。上线之后75%的查询走3.520%走4剩下5%走规则兜底。月成本直接从一千五百刀降到四百多砍了快三分之二老板当场就笑了。9 最后复盘别神化RAG也别小瞧上线一周拉了数据72%的自动解决率28%转人工人工客服工作量减了60%。没达到当初“替代全部人工”的宏伟目标但这个结果我已经很满意了。剩下转人工的都是金额纠纷、个性化投诉这种需要人情世故的这些本来就不该指望AI处理。很多人做RAG上来就调Prompt、换大模型使劲在表层下功夫。其实方向错了。技术优先级很明确分块策略 Embedding模型 检索方法 Prompt工程。前两个决定了你的天花板后两个决定你能摸到天花板的什么位置。地基打歪了上层装修再豪华也没用。最后说句实在的RAG不是万能的。它处理不了需要推理、需要共情、需要多轮博弈的复杂问题。但用来做客服足够了。帮你的团队挡掉70%的重复劳动让人工去处理真正有价值的问题这就值回票价了。哦对了最最重要的建议别急着写代码先把你的知识库整理干净。文档质量决定天花板再牛的算法也救不了乱七八糟的文档。P.S. 无意间发现了一个巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看传送门https://blog.csdn.net/qq_34419312