上一篇把 RAG 拆成离线索引与在线问答两条流水线。本篇推进离线侧最容易被低估的一步把 PDF、网页和制度文本转换成稳定、可追踪、语义完整的片段源数据处理得不好后面换再强的嵌入模型也只是更快地检索噪声。一、痛点解析成功不等于内容可检索真实文档包含重复页眉、页脚页码、目录、断行连字符、扫描图片、表格和修订痕迹。同一句话可能在每页重复正文也可能被 PDF 阅读顺序打乱。如果直接按固定字符数切割标题与解释被拆开代词失去指向重叠太大又会让相同证据占满 Top-K。正确目标不是“得到若干字符串”而是建立从源文件到片段的可审计变换。建议定义统一文档对象正文之外保存doc_id、来源 URI、版本、MIME 类型、更新时间、权限标签和内容哈希。每个片段再保存chunk_id、标题路径、页码、字符区间和清洗版本。doc_id应来自业务稳定键内容哈希用来判断是否改变不要只用文件名因为同名覆盖和移动目录都会造成误判。二、原理边界、长度和重叠共同决定召回质量切分有三类策略。固定长度简单、吞吐稳定适合结构弱的日志递归切分按段落、句子、字符依次寻找边界适合通用文本结构切分利用 Markdown 标题、HTML 节点或 PDF 版面最能保留章节语义。工程上常先按结构分块再对超长块递归切分而不是二选一。片段太小会丢上下文并增加向量数太大会混入多个主题且浪费提示窗口。重叠用于保护跨边界信息但应依据句子或标题而非机械复制半段。下面的标准库脚本实现段落优先的确定性切分并给每块生成可重算的哈希 ID。fromdataclassesimportdataclassfromhashlibimportsha256dataclass(frozenTrue)classChunk:chunk_id:strheading:strtext:strdefsplit_sections(markdown:str,limit:int42)-list[Chunk]:heading未命名buffer:list[str][]result:list[Chunk][]defemit()-None:nonlocalbuffertext.join(buffer).strip()iftext:rawf{heading}\n{text}.encode(utf-8)result.append(Chunk(sha256(raw).hexdigest()[:10],heading,text))buffer[]forlineinmarkdown.splitlines():ifline.startswith(## ):emit()headingline[3:].strip()elifline.strip():ifsum(map(len,buffer))len(line)limit:emit()buffer.append(line.strip())emit()returnresult sample## 申请条件 正式员工入职满一年可申请年假。年假需提前三个工作日提交。 ## 审批流程 申请人先提交直属主管审批再由人力资源备案。紧急情况应补充说明。forchunkinsplit_sections(sample):print(f{chunk.chunk_id}\t{chunk.heading}\t{len(chunk.text)}\t{chunk.text})运行输出5f6628dade 申请条件 28 正式员工入职满一年可申请年假。年假需提前三个工作日提交。 defada2292 审批流程 32 申请人先提交直属主管审批再由人力资源备案。紧急情况应补充说明。确定性很关键相同输入和清洗版本应产生相同 ID增量构建才能只删除、重算变更片段。若在 ID 中加入运行时间每次发布都会制造全量重复数据。标题应进入嵌入文本或以结构化字段参与检索但展示引用时仍要保留原始正文。三、实现把清洗规则做成可测的流水线清洗顺序建议为 Unicode 规范化、换行修复、页眉页脚移除、空白归一、重复检测再进行切分。不要粗暴删除全部数字、标点或短行合同条款编号、版本号和错误码恰恰是高价值检索词。规则应限定上下文例如仅删除在多数页面相同位置反复出现的页脚。下例对常见的不可见空格、Windows 换行、断词和多余空白做保守清洗并用断言形成回归测试。它没有删除页码因为脱离页面位置的信息不足以安全判断。importreimportunicodedatadefclean_text(raw:str)-str:textunicodedata.normalize(NFKC,raw)texttext.replace(\r\n,\n).replace(\r,\n)texttext.replace(\u00a0, ).replace(\u200b,)textre.sub(r([A-Za-z])-\n([A-Za-z]),r\1\2,text)textre.sub(r[ \t], ,text)textre.sub(r\n{3,},\n\n,text)returntext.strip()rawRAG\u00a0检索\r\ninter-\nnational 标准\n\n\n第 12 页cleanedclean_text(raw)assertinternationalincleanedassert\u00a0notincleanedprint(cleaned)print(fchars{len(cleaned)})运行输出RAG 检索 international 标准 第 12 页 chars31生产流水线要同时保存原文和规范化文本。原文用于引用与争议复核清洗文本用于检索。每次规则升级写入parser_version抽取结果进入临时索引通过质量检查后再原子切换别名避免半数文档使用旧规则、半数使用新规则。批量处理时将清单与内容分开清单记录每个源文件的大小、哈希、状态、尝试次数和错误码正文对象存入不可变存储。任务以文档 ID 幂等执行进程中断后只重跑未完成项。解析器升级先对固定样本做差异报告列出新增、删除和移动的片段防止一次规则调整悄悄改写整个知识库。四、踩坑特殊格式必须显式降级扫描 PDF 若抽取字符接近零应进入 OCR 队列而不是产出空文档乱码率过高、页数不符、表格行列丢失都要触发隔离。密码保护、损坏文件和超大文件应记录明确错误码允许重试但不能无限重试。网页加载则要移除导航、广告和 Cookie 横幅并保存 canonical URL 与抓取时间。切分后的质量门包括空块率、长度分布、重复率、语言分布、标题覆盖率和源位置完整率。仅看平均长度会隐藏极端值应观察 p50、p95 和最大值。对法律条款、FAQ、API 文档分别抽样因为同一组参数不一定适合所有文档类型。权限元数据不可在后处理时补猜应从加载阶段一路继承到片段。中文句子边界还需处理书名号、括号与编号列表英文技术文档则要避免切断代码块和表格。可以为不同 MIME 类型注册专用切分器但所有切分器输出相同数据契约。这样检索层无需知道片段来自网页、PDF 还是 Markdown也便于逐类替换解析实现。五、验证用黄金片段检查语义是否完整选择十份代表性文档为关键问题人工标出应命中的段落。每次调整解析或切分后比较黄金段落是否仍在单个片段内、标题是否正确、引用能否回到原页并统计片段数量变化。若数量突然翻倍优先检查重复页眉或重叠若召回下降检查关键句是否跨块。本篇产出了可追踪的干净片段也建立了增量 ID 和质量门。下一篇将把这些片段转换为向量比较嵌入模型与向量库的选择方法而不是凭排行榜拍板。参考来源Unstructured 文档文档分区与元素类型LangChain 文档RecursiveCharacterTextSplitterUnicode Standard Annex #15规范化形式 觉得有用就点个赞 收藏方便回头查阅有疑问直接在评论区留言我看到都会回。 本文属于《RAG 知识库问答实战》系列持续更新关注不迷路。 文章里的代码都能直接跑。想要可直接 clone 的完整工程 配套部署脚本 / 踩坑清单评论一声或发邮件到cj2664qq.com我免费发你。如果你正好在做类似系统、或有工程化难题想找人做也欢迎邮件聊一句——我按实际情况评估能落地的就接单或出方案。评论和邮件都能直接找到我不用跳别的平台。