文本分块策略实战chunk_size 怎么选重叠多少直接影响检索质量 ✂️本文是《向量数据库实战选型、调优与落地》专栏第 12 篇⏱️阅读时间约 13 分钟 开篇分块策略被严重低估了很多人花大量时间选向量数据库、调索引参数、换嵌入模型——却忽略了最影响检索质量的环节文本分块Chunking一个残酷的事实同样的数据库、同样的模型、同样的索引——换一种分块策略检索准确率可以差 30% 以上 为什么需要分块┌─────────────────────────────────────────────────────────┐ │ 为什么不能直接把整篇文档塞进去 │ ├─────────────────────────────────────────────────────────┤ │ │ │ 问题 1超过最大 Token 限制 │ │ → bge-m3 最多 8192 tokens约 5000 字 │ │ → 一篇 2 万字的文章根本放不下 │ │ │ │ 问题 2语义被稀释 │ │ → 一篇长文档包含多个主题 │ │ → 整篇向量化后每个主题的信号都被稀释 │ │ → 检索时什么都像什么都不像 │ │ │ │ 问题 3检索精度下降 │ │ → 返回一整篇文章用户还得自己找答案 │ │ → 分块后能精确定位到具体段落 │ │ │ │ 结论必须分块 │ │ │ └─────────────────────────────────────────────────────────┘✂️ 五大分块策略策略 1固定大小分块最简单deffixed_size_chunk(text,chunk_size500,overlap50):固定大小分块chunks[]start0whilestartlen(text):endstartchunk_size chunks.append(text[start:end])startend-overlap# 重叠部分returnchunks# 示例text这是一段很长的文本...*100chunksfixed_size_chunk(text,chunk_size500,overlap50)print(f分成{len(chunks)}块)参数说明参数含义推荐值chunk_size每块的字符数300~1000overlap相邻块重叠的字符数chunk_size 的 10%~20%优缺点✅ 优点实现简单速度快 ❌ 缺点可能在句子中间截断破坏语义完整性策略 2按句子/段落分块推荐importredefsentence_chunk(text,min_size200,max_size800):按句子分块保证每块在 min~max 之间# 按中文句号、问号、感叹号分句sentencesre.split(r(?[。.!?]),text)chunks[]current_chunkforsentenceinsentences:iflen(current_chunk)len(sentence)max_sizeandcurrent_chunk:chunks.append(current_chunk.strip())current_chunksentenceelse:current_chunksentenceifcurrent_chunk.strip():chunks.append(current_chunk.strip())returnchunks优缺点✅ 优点保持句子完整性语义连贯 ❌ 缺点块大小不均匀可能太小或太大策略 3递归分块LangChain 默认fromlangchain.text_splitterimportRecursiveCharacterTextSplitter# LangChain 的递归分块器text_splitterRecursiveCharacterTextSplitter(chunk_size500,chunk_overlap50,separators[\n\n,\n,。,,,., ,]# 优先按段落分 → 按行分 → 按句子分 → 按字符分)chunkstext_splitter.split_text(text)分块逻辑┌─────────────────────────────────────────────────────────┐ │ 递归分块的分层逻辑 │ ├─────────────────────────────────────────────────────────┤ │ │ │ 第 1 层按 \n\n段落分割 │ │ → 如果块太大 → 进入第 2 层 │ │ │ │ 第 2 层按 \n换行分割 │ │ → 如果块太大 → 进入第 3 层 │ │ │ │ 第 3 层按 。句子分割 │ │ → 如果块太大 → 进入第 4 层 │ │ │ │ 第 4 层按 空格/字符分割 │ │ → 最终保证每块不超过 chunk_size │ │ │ └─────────────────────────────────────────────────────────┘策略 4语义分块最智能fromlangchain_experimental.text_splitterimportSemanticChunkerfromlangchain_openaiimportOpenAIEmbeddings# 基于语义相似度自动分块embeddingsOpenAIEmbeddings()semantic_splitterSemanticChunker(embeddingsembeddings,breakpoint_threshold_typepercentile,breakpoint_threshold_amount95# 相似度降到 5% 分位时切分)chunkssemantic_splitter.split_text(text)原理句子 1: 向量数据库用于存储向量 ─┐ 句子 2: 它支持高维向量的快速检索 ├─ 语义相似 → 同一块 句子 3: HNSW 是最常用的索引 ─┘ ↓ 语义跳跃 句子 4: 今天天气真好 ─┐ 句子 5: 适合出去散步 ─┘ ← 新的块策略 5Markdown/HTML 结构分块fromlangchain.text_splitterimportMarkdownHeaderTextSplitter# 按 Markdown 标题结构分块headers_to_split_on[(#,H1),(##,H2),(###,H3),]md_splitterMarkdownHeaderTextSplitter(headers_to_split_onheaders_to_split_on)chunksmd_splitter.split_text(markdown_text)# 每个 chunk 自动带上标题元数据forchunkinchunks:print(f标题:{chunk.metadata})print(f内容:{chunk.page_content[:100]}...) 分块策略对比策略语义完整性实现复杂度适用场景推荐度固定大小⭐⭐⭐最简单快速验证⭐⭐按句子/段落⭐⭐⭐⭐⭐⭐通用场景⭐⭐⭐⭐递归分块⭐⭐⭐⭐⭐⭐⭐大多数场景⭐⭐⭐⭐⭐语义分块⭐⭐⭐⭐⭐⭐⭐⭐⭐高质量要求⭐⭐⭐⭐结构分块⭐⭐⭐⭐⭐⭐⭐⭐Markdown/文档⭐⭐⭐⭐⭐ chunk_size 怎么选实测数据测试环境5000 条中文客服问答bge-m3 嵌入Milvus HNSWchunk_sizeoverlap平均块数/文档Recall5延迟推荐场景100104578.2%3.1ms精确问答200202585.6%3.5ms短文档500501292.3%4.2ms通用推荐80080891.8%4.8ms长文档1000100689.5%5.2ms超长段落2000200382.1%6.5ms不推荐 chunk_size vs Recall5 Recall 95% ┤ 93% ┤ ●(500) ← 最佳点 91% ┤ ●(200) ●(800) 89% ┤ ●(1000) 87% ┤ 85% ┤●(100) 83% ┤ ●(2000) 80% ┤ └──┬──┬──┬──┬──┬──┬──┬──→ chunk_size 100 200 500 800 1000 2000关键发现chunk_size 500约 300 个中文字是最佳平衡点overlap 设为 chunk_size 的 10%效果最好chunk_size 1000 后效果明显下降语义被稀释⚠️ 分块的 5 个常见坑坑 1不考虑文档类型❌ 错误所有文档都用同一种分块策略 ✅ 正确 - 代码文档 → 按函数/类分块 - FAQ 文档 → 按 QA 对分块 - 表格数据 → 按行/记录分块 - 对话记录 → 按对话轮次分块坑 2overlap 设太大或太小overlap 太小 → 边界处的信息丢失 overlap 太大 → 重复数据增多浪费存储 推荐overlap chunk_size × 10%~15%坑 3忽略元数据# ❌ 只存内容丢了上下文chunk{text:它支持高维向量的快速检索}# ✅ 保留元数据检索更精准chunk{text:它支持高维向量的快速检索,source:向量数据库入门.pdf,page:15,section:第3章 HNSW索引,title:HNSW 算法详解}坑 4不考虑嵌入模型的 Token 限制# ❌ chunk 太大超过模型限制被截断chunk_size10000# bge-m3 最多 8192 tokens# ✅ 根据模型调整# bge-m3: chunk_size ≤ 5000 字符约 8000 tokens# text-embedding-3: chunk_size ≤ 5000 字符# bge-large-zh: chunk_size ≤ 350 字符约 512 tokens坑 5不做分块质量评估# 评估分块质量的简单方法defevaluate_chunks(chunks):评估分块质量sizes[len(c)forcinchunks]print(f块数量:{len(chunks)})print(f平均大小:{sum(sizes)/len(sizes):.0f})print(f最小块:{min(sizes)})print(f最大块:{max(sizes)})print(f大小标准差:{np.std(sizes):.0f})# 标准差太大说明分块不均匀ifnp.std(sizes)np.mean(sizes)*0.5:print(⚠️ 分块大小不均匀建议调整策略) 分块策略选择决策树你的文档是什么类型 │ ├── 结构化文档Markdown/HTML │ └── 结构分块按标题层级 │ ├── FAQ / QA 文档 │ └── 按 QA 对分块每个 QA 是一块 │ ├── 长文章/论文 │ ├── 追求质量 → 语义分块 │ └── 追求速度 → 递归分块chunk_size500 │ ├── 代码文档 │ └── 按函数/类分块 │ ├── 表格数据 │ └── 按行分块 表头元数据 │ └── 混合类型 / 不确定 └── 递归分块chunk_size500, overlap50← 万能选择 本篇核心要点回顾要点说明分块很重要直接影响检索准确率 30%推荐 chunk_size500 字符约 300 中文字推荐 overlapchunk_size 的 10%~15%万能策略递归分块LangChain 默认最智能策略语义分块基于嵌入相似度保留元数据来源、页码、标题等上下文信息下篇预告《混合搜索实战向量检索 BM25 关键词准确率提升 30% 的秘诀 》有问题欢迎评论区讨论觉得有用请点赞收藏 作者高炉炼铁智能化技术研究者专注钢铁冶金与人工智能 交叉领域。 如果觉得有帮助请点赞、收藏、转发版权归作者所有未经许可请勿抄袭套用商用(或其它具有利益性行为)。 关注专栏不错过后续精彩内容