Spring AI 实战(6):RAG 从文档切分到向量检索搭建知识库(全流程)
本篇是 Spring AI 系列第 6 篇。前情第 4 篇讲了结构化输出第 5 篇讲了 Tool Calling——让 AI 能调用你的方法查实时数据。但如果答案藏在一堆 PDF、产品手册、内部 Wiki 里既不实时、又没接口可查怎么办这就要靠 RAG检索增强生成了。为什么需要 RAG工具调用解决的是AI 去调你的接口但世界上有大量知识根本没有 API公司制度文档、产品技术手册、你自己的博客文集、客户的历史工单。这些知识有两个特点——私有模型没训练过且会变版本一更新就得同步。直接把知识塞进 prompt 行不行不行。一篇产品手册动辄几万字上下文窗口装不下即使装得下也会把模型搞晕、且每次问答都烧大量 token。RAGRetrieval-Augmented Generation检索增强生成的思路很朴素问答时先去知识库里检索出和当前问题最相关的几段把它们拼进 prompt再让模型基于这些实锤材料作答。模型不再靠记忆硬编而是翻着资料回答。幻觉率大幅下降知识更新也只需重建索引不用重新训练。RAG 的两个阶段RAG 不是一步而是两条独立的流水线阶段一建库离线一次或定时跑文档 → 读取 → 切分 → 向量化 → 存进向量库阶段二问答在线每次用户提问跑用户问题 → 向量化 → 向量库检索相似片段 → 拼进 prompt → 模型生成答案注意阶段一和阶段二共用同一个 Embedding 模型这是能对上号的前提。步骤一把文档读进来Spring AI 用DocumentReader把各种格式转成统一的Document对象含text内容和metadata元数据。常见实现TextReader纯文本 / MarkdownPagePdfDocumentReader按页切的 PDFPdfDocumentReader家族基于 PDFBoxParagraphPdfDocumentReader按段落/标题结构切的 PDF基于 Apache Tika PDFBox保留结构TikaDocumentReaderWord、PPT、Excel、HTML 等基于 Apache Tika几乎通吃AutowiredprivateResourceLoaderresourceLoader;publicListDocumentloadDocs(){// 读一篇产品技术手册 PDFResourcepdfresourceLoader.getResource(classpath:docs/product-manual.pdf);DocumentReaderreadernewParagraphPdfDocumentReader(pdf);ListDocumentdocsreader.get();// 一篇文档 → 一组 Documentreturndocs;}每个Document除了正文text还带着metadata来源、页码、标题等后面检索、过滤、展示出处都靠它。步骤二切分Splitter为什么不能整篇直接向量化因为向量相似度是按段比较的整篇塞进去会稀释语义检索时要么全中要么全不中。切分Chunking是 RAG 效果的生命线。Spring AI 提供几种切分器// 按 token 数切重叠 200 token 避免语义被切断TokenTextSplittersplitternewTokenTextSplitter(800,// 每块最大 token 数200,// 块间重叠 token 数10,// 切分下限10000,// 切分上限true// 是否保留分隔符);ListDocumentchunkssplitter.apply(docs);TokenTextSplitter按 token 数切最通用适合中英文混排。重叠overlap让相邻块保留上下文避免一句话被硬切到两块导致检索断裂。ParagraphPdfDocumentReader 按结构切优先按文档里的标题/段落边界切语义更完整优于暴力按字数切。经验值中文每段300–800 字、重叠50–150 字是常见起点再按效果调。切太大检索不精准切太小语义不完整。步骤三向量化与入库切好的文本要变成向量才能按意思查。这需要两个东西Embedding 模型和向量库VectorStore。AutowiredprivateEmbeddingModelembeddingModel;// 如 OpenAI / Ollama / DashScope embeddingAutowiredprivateVectorStorevectorStore;// 如 SimpleVectorStore / PgVector / Redispublicvoidingest(){ListDocumentdocsloadDocs();ListDocumentchunkssplitter.apply(docs);// add() 内部会用 embeddingModel 把每块 text 转成向量并写入 vectorStorevectorStore.add(chunks);}VectorStore的选型第 7 篇会专门对比入门用SimpleVectorStore内存/本地文件零依赖生产用PgVector、RedisVectorStore或Milvus。关键约束Embedding 模型和向量库的维度必须一致——换 embedding 模型意味着旧索引全部作废、要重建。步骤四问答时检索增强建好库之后问答侧靠QuestionAnswerAdvisor一把包揽检索→拼上下文→生成。它挂在ChatClient的 advisor 链上StringanswerchatClient.prompt().user(这个产品的核心功能有哪些适用场景是什么).advisors(newQuestionAnswerAdvisor(vectorStore,SearchRequest.builder().topK(4)// 取最相似的 4 块.similarityThreshold(0.7)// 相似度低于 0.7 的不要.build(),// 自定义模板{question_answer_context} 会被检索到的片段替换你是一名产品技术文档助手。只能依据下方资料回答资料中没有就如实说不知道。\n\n资料\n{question_answer_context}\n\n用户问题{input})).call().content();执行顺序用户提问 → advisor 把问题向量化 → 向量库返回 topK 相关片段 → 片段填入模板的{question_answer_context}→ 连同问题一起交给模型 → 模型基于资料作答。你也可以把它设成默认 advisor省得每次写ChatClientchatClientChatClient.builder(chatModel).defaultAdvisors(newQuestionAnswerAdvisor(vectorStore,SearchRequest.builder().topK(4).similarityThreshold(0.7).build())).build();一个端到端的最小配置如果用 Spring Boot 自动装配配置可以非常薄。以内存版 OpenAI embedding 为例spring:ai:openai:api-key:${OPENAI_API_KEY}embedding:options:model:text-embedding-3-smallConfigurationpublicclassRagConfig{BeanpublicVectorStorevectorStore(EmbeddingModelembeddingModel){// 入门用 SimpleVectorStore数据存内存returnSimpleVectorStore.builder(embeddingModel).build();}BeanpublicChatClientchatClient(ChatModelchatModel,VectorStorevectorStore){returnChatClient.builder(chatModel).defaultAdvisors(newQuestionAnswerAdvisor(vectorStore,SearchRequest.builder().topK(4).similarityThreshold(0.7).build())).build();}}建库只要在应用启动或定时任务里调一次vectorStore.add(chunks)即可。其余问答代码和普通ChatClient调用无异——RAG 的能力被完全藏进了 advisor。检索参数怎么调SearchRequest三个旋钮直接决定答案质量topK召回多少块。太小容易漏掉关键信息太大引入噪声、拖慢且冲淡重点。一般3–6起步。similarityThreshold相似度门槛。低于它的片段直接丢弃避免答非所问的片段污染上下文。0.7 是常见起点embedding 模型不同需实测微调。元数据过滤filter比如只搜某个产品、某年度的文档。Spring AI 支持在SearchRequest上传 filter 表达式把检索范围先收窄。SearchRequest.builder().topK(5).similarityThreshold(0.65).filterExpression(docType api)// 只看 API 类文档.build();进阶模块化 RAGQuestionAnswerAdvisor是开箱即用的封装。当你要精细控制每一步查询重写、多路召回、结果重排时Spring AI 1.0 提供了模块化 RAGAPI把流水线拆成可替换的组件QueryTransformer提问前改写/澄清问题如把它指代补全提升召回。QueryExpander一个问题扩展成多个同义问法多路检索提高覆盖。DocumentRetriever从向量库取相关文档。DocumentRanker对召回结果重排rerank把最相关的顶到前面。DocumentJoiner多路结果合并去重。RetrievalAugmentationAdvisor把这些组件串起来的总装配点。RetrievalAugmentationAdvisoradvisorRetrievalAugmentationAdvisor.builder().documentRetriever(VectorStoreDocumentRetriever.builder().vectorStore(vectorStore).topK(6).build()).queryTransformer(newCompressionQueryTransformer(chatModel)).documentRanker(newDocumentRanker(){/* 你的重排逻辑 */}).build();这套适合问答质量已经影响业务、且简单 RAG 不够打的场景。新手先把QuestionAnswerAdvisor跑通再按需升级即可。几个会让你怀疑人生的坑切分粒度拍脑袋。这是 RAG 效果的第一杠杆。别直接用默认参数就上线拿真实问题测召回调TokenTextSplitter的块大小和重叠。embedding 模型偷偷换了。换 embedding 模型 旧向量全部失效必须重建索引。把它和向量库当成一对绑定体管理。阈值设太高导致答不上来。阈值 0.9 看着严谨实际常把相关但措辞不同的片段挡在门外。先用低阈值看召回再慢慢收紧。PDF 解析质量拖后腿。扫描件、带复杂表格的 PDF读出来是乱码或空白后面全白搭。先用ParagraphPdfDocumentReader Tika 试不行就上 OCR 或预处理。中文按字切会碎。部分旧切分器按字符数切中文一个字一个 token 感块会被切得很碎。优先用基于 token 的切分器并把重叠调大些。上下文泄露 / 没交代出处。RAG 回答最好带上引用来源metadata 里的文档名页码既利于用户核实也方便你定位检索是否准确。只建库不更新。文档改了但索引没重建AI 会一直用旧知识答。把ingest()接成定时任务或文档变更钩子。小结RAG 的本质是给模型配一个可随时更新的外部记忆离线把文档切好、向量化、入库在线提问时检索相关片段、拼进 prompt、再生成。Spring AI 用DocumentReader/TokenTextSplitter/VectorStore处理建库用QuestionAnswerAdvisor或进阶的模块化 RAG处理问答把整套能力收敛成几行配置。把切分粒度、embedding 一致性、阈值、更新机制这四件事盯住RAG 就能稳定产出一个靠谱的私有知识库。如果这篇对你有帮助点个关注 我会持续更新 Spring AI 实战系列从聊天、RAG 到原理篇篇带完整代码关注不迷路。博主10 年 Java 全栈开发优质创作者。专注 Spring 源码、架构设计与 Spring AI 实战。前文回顾Spring AI 实战1Java 开发者如何优雅接入大模型附完整代码Spring AI 实战2ChatClientPrompt记忆三件套手把手搭 AI 对话附代码Spring AI 实战3Alibaba 三行配置搞定 MySQLRedis 记忆存储Spring AI 实战4结构化输出让大模型返回 Java 对象附完整 DemoSpring AI 实战5Tool Calling 让 AI 自动调用你的 Java 方法附完整代码

相关新闻

思源宋体CN完整指南:免费开源中文设计字体的终极解决方案

思源宋体CN完整指南:免费开源中文设计字体的终极解决方案

思源宋体CN完整指南:免费开源中文设计字体的终极解决方案 【免费下载链接】source-han-serif-ttf Source Han Serif TTF 项目地址: https://gitcode.com/gh_mirrors/so/source-han-serif-ttf 还在为中文设计项目寻找专业字体而烦恼吗?思源宋体CN作…

2026/10/16 22:49:01 阅读更多 →
iOS内测 #TestFlight #APP分发 #iOS开发 #企业内测部署 #移动端测试

iOS内测 #TestFlight #APP分发 #iOS开发 #企业内测部署 #移动端测试

iOS开发、独立APP、项目内测的朋友,几乎都会遇到同一个难题:App无法上架App Store,如何稳定、快速、低成本地给用户安装测试? 很多新手开发者、工作室只知道“可以内测安装”,但完全分不清:TF分发、超级签、…

2026/10/16 4:08:51 阅读更多 →
老电脑性能优化全攻略:免费提升Windows系统速度

老电脑性能优化全攻略:免费提升Windows系统速度

1. 老电脑焕新指南:不花钱的性能提升方案每次开机都要泡杯咖啡等它反应?运行办公软件都卡成PPT?别急着换新机,我这台服役五年的老伙计经过几轮免费优化后,现在依然能流畅处理4K视频剪辑。今天就分享那些真正有效的系统…

2026/10/14 17:48:45 阅读更多 →

最新新闻

Nanosaur2-670M的DiT架构深度解析:SPRINT稀疏块、2D RoPE、QK-norm与670M参数设计哲学

Nanosaur2-670M的DiT架构深度解析:SPRINT稀疏块、2D RoPE、QK-norm与670M参数设计哲学

大模型人工智能媒体生成计算机视觉基础模型本地部署 【免费下载链接】Nanosaur2-670M 项目地址: https://ai.gitcode.com/hf_mirrors/well9472/Nanosaur2-670M 点击查看 免费下载 Nanosaur2-670M 是一个仅花 600 美元算力训练出的 670M 参数插画文生图 DiT&#xf…

2026/10/16 22:48:15 阅读更多 →
SpringBoot+Vue纹理生成图片管理系统:从算法到前后端实现

SpringBoot+Vue纹理生成图片管理系统:从算法到前后端实现

做毕业设计选源码这事,我见过太多同学卡在同一个地方:要么系统太"玩具",只有登录注册加一张表,答辩老师看一眼就问"你的工作量在哪";要么功能堆得太散,前后端各写各的,问起…

2026/10/16 22:47:14 阅读更多 →
Vue项目微信公众号图片防盗链、跨域与canvas问题详解

Vue项目微信公众号图片防盗链、跨域与canvas问题详解

如果你的 Vue 项目里接过微信公众号的图片&#xff0c;我猜你大概率碰到过这种场景&#xff1a;后端接口把图片地址甩过来&#xff0c;浏览器一加载&#xff0c;<img>直接裂开&#xff0c;控制台冒出一串 403&#xff0c;或者是某个 HTTPS 混合内容错误。更麻烦的是&…

2026/10/16 22:47:14 阅读更多 →
AI智能体是什么?从核心原理到应用形态的完整拆解

AI智能体是什么?从核心原理到应用形态的完整拆解

1. 先搞清楚&#xff1a;智能体到底是什么1.1 从一个场景说起我经常举一个例子&#xff1a;你让普通AI助手“帮我把上个月所有项目相关的邮件找出来&#xff0c;按重要性排序&#xff0c;再写一份摘要发给团队”&#xff0c;它大概率只能给你一段泛泛的建议&#xff0c;告诉你“…

2026/10/16 22:47:14 阅读更多 →
Phoenix 映射 HBase 表:表映射与视图映射的选型与实战

Phoenix 映射 HBase 表:表映射与视图映射的选型与实战

1. 为什么要在 Phoenix 里映射 HBase 表&#xff0c;而不是直接建表很多人第一次接触 Phoenix&#xff0c;脑子里冒出来的第一个问题就是&#xff1a;我 HBase 里已经有一堆表了&#xff0c;难道还要用 Phoenix 再建一遍&#xff1f;答案是不用。Phoenix 最实用的一类场景&…

2026/10/16 22:46:13 阅读更多 →
省级PBF建筑白模制作:从原始数据到矢量瓦片的自动化流程

省级PBF建筑白模制作:从原始数据到矢量瓦片的自动化流程

做省级尺度的时候&#xff0c;最折磨人的从来不是怎么画楼&#xff0c;而是怎么把几十个GB的原始数据&#xff0c;变成浏览器里那一片干净利落的白色体块。PBF格式的数据包大家都懂&#xff0c;里面塞满了道路、水系、铁路、地块、POI等等内容&#xff0c;三分之一都不一定是建…

2026/10/16 22:46:13 阅读更多 →

日新闻

个人 AI Agent 平台接入 TaoToken:统一 Key 与 API 通道的配置大纲

个人 AI Agent 平台接入 TaoToken:统一 Key 与 API 通道的配置大纲

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 0:00:05 阅读更多 →
信号与系统频域分析作业解题指南

信号与系统频域分析作业解题指南

1. 作业背景与核心要求解析信号与系统作为电子信息类专业的核心基础课&#xff0c;其作业设计往往直接关联课程的核心知识框架。2026年春季第六次作业的布置&#xff0c;通常对应着课程进展到频域分析的关键阶段。根据常规教学进度推测&#xff0c;本次作业可能涉及以下核心内容…

2026/10/16 0:00:05 阅读更多 →
Django MVT实战:从零构建图书借阅系统,彻底搞懂Model-View-Template分层

Django MVT实战:从零构建图书借阅系统,彻底搞懂Model-View-Template分层

1. 从一个"四不像"的练手项目说起如果你已经看完了Django的官方教程前几章&#xff0c;跟着敲完了投票应用&#xff0c;大概会有一种"我好像会了&#xff0c;又好像什么都不会"的割裂感。教程里每个知识点都是拆开的——这一章讲模型&#xff0c;下一章讲视…

2026/10/16 0:00:05 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介&#xff1a;基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码&#xff0c;面向计算机相关专业课程设计与期末大作业学生&#xff0c;以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程&#xff0c;…

2026/10/16 21:35:51 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程&#xff1a;键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化&#xff0c;十个新手有八个栽在"往输入框里填东西"这件事上&#xff1a;要么填不进去&#xff0c;要么填了一半&#xff0c;要么直接把原来内容追加在后面。这背后的根因&…

2026/10/15 19:41:51 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程&#xff1a;阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀&#xff1a;什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面&#xff0c;跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/16 15:04:24 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 21:54:38 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 3:49:43 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 14:23:36 阅读更多 →