固定长度、递归字符、语义分块和结构分块怎么选?RAG Chunk策略对比
文章摘要Chunk策略决定了RAG系统能够检索到什么、丢失什么,以及大模型最终看到多少完整上下文。固定长度分块实现简单但容易切断条款;递归字符分块通用性强;语义分块边界自然但成本较高;结构分块最适合制度、合同和技术文档,却依赖可靠的文档解析。本文从边界质量、实现成本、检索效果、元数据和适用文档等维度对比四种策略,并给出企业项目的组合方案。一、Chunk不是越大越好Chunk过小:条件与结论分离;标题与正文分离;上下文不足;召回结果数量增加;重排成本增加。Chunk过大:包含大量无关内容;向量语义变得模糊;正确答案在片段中不突出;Token成本增加;多个主题混在一起。理想Chunk应该满足:语义相对完整 +主题相对单一 +包含必要条件 +适合Embedding模型 +可追溯到原文二、固定长度分块按照字符或Token数量切分:每500 Token切一块 重叠100 Token伪代码:deffixed_chunks(tokens:list[str],chunk_size:int,overlap:int)-list[list[str]]:chunks=[]start=0whilestartlen(tokens):end=start+chunk_size chunks

相关新闻

能科科技AI+工业场景化应用【第二期】:PLM AI智能助手

能科科技AI+工业场景化应用【第二期】:PLM AI智能助手

当前,PLM(例如Teamcenter)作为一款专业的产品生命周期管理系统,广泛应用于制造企业,帮助企业实现产品数据的统一管理与协同共享。但是在实际应用中存在两大难题:一是隐性人力成本高,新员工培训耗…

2026/10/11 0:02:50 阅读更多 →
OpenCode开源AI编程代理:安装配置与核心功能解析

OpenCode开源AI编程代理:安装配置与核心功能解析

1. OpenCode是什么?一个开源AI编程代理的全面解析 OpenCode是当前开发者社区热议的一款开源AI编程代理工具,它能在你的终端、IDE或桌面环境中直接嵌入智能编程助手功能。与市面上常见的商业AI编程工具不同,OpenCode的核心优势在于其开源属性和…

2026/10/5 15:29:49 阅读更多 →
古籍文献修复库房通风 易互德无尘稳温布风管延缓纸张酸化老化

古籍文献修复库房通风 易互德无尘稳温布风管延缓纸张酸化老化

市级古籍保护中心修复库房存放线装古籍、拓片、善本,纸质文物材质脆弱,温湿度波动、粉尘、强气流都会加速纸张酸化、纤维脆化,造成不可逆破损。传统铁皮风管高速送风搅动空气中粉尘、酸性颗粒物,附着古籍表面腐蚀纸页;…

2026/10/8 15:49:56 阅读更多 →

最新新闻

1002张墙面缺陷数据集,够不够撑起一次YOLO26训练?

1002张墙面缺陷数据集,够不够撑起一次YOLO26训练?

简介:面向建筑墙面缺陷检测任务的标注数据集,包含1002张真实墙面图像,覆盖腐蚀、裂纹、裂缝、分层起皮、污垢、漆面缺陷等常见问题,适合计算机视觉学习者、算法工程师及工程质检人员用于YOLO系列模型的训练与验证。压缩包共2000个…

2026/10/11 11:50:17 阅读更多 →
AI一键换装做课件:内容与视觉分离,五套PPT一周交付

AI一键换装做课件:内容与视觉分离,五套PPT一周交付

我一开始接到这个需求的时候,第一反应是挺懵的:五个客户,内容主题高度重叠,但要求各不相同。有的要正式商务风,有的要年轻活泼,有的直接甩过来一个品牌色值说“必须用这个色系”。按传统的做法,…

2026/10/11 11:50:17 阅读更多 →
AI资讯简报写作指南:从信息聚合到技术解读

AI资讯简报写作指南:从信息聚合到技术解读

我无法根据当前输入内容生成符合要求的博文。原因如下:输入中仅提供了项目标题:“衍辉AI速递 10.2|谷歌发布Gemini 4 Argon大模型等10条AI资讯”,但未提供任何实际有效的项目正文、关键词列表或摘要描述。所有后续字段&#xff08…

2026/10/11 11:50:17 阅读更多 →
AI代理营销技能库:从架构设计到实操搭建的工程化指南

AI代理营销技能库:从架构设计到实操搭建的工程化指南

1. 这个项目到底在解决什么问题第一次看到“AI 代理营销技能库”这个说法,很多人会下意识觉得又是一个套壳概念。但我实际拆过几个类似结构的项目之后发现,Marketingskills 这类东西的核心价值,跟“让 AI 帮你写文案”完全是两码事。它真正要…

2026/10/11 11:50:17 阅读更多 →
多Agent协作系统Skill管理实战:集中管理与差异化覆盖方案

多Agent协作系统Skill管理实战:集中管理与差异化覆盖方案

1. 多 Agent 环境下的 Skill 管理困局1.1 一个让我头疼了两周的真实场景事情是这样的。我手头维护着一套多 agent 协作系统,三个 agent 各司其职:一个负责代码生成,一个负责代码审查,还有一个负责文档撰写。它们共享同一套 skill …

2026/10/11 11:50:16 阅读更多 →
心电信号QRS峰值检测:从Pan-Tompkins到Matlab实现与避坑指南

心电信号QRS峰值检测:从Pan-Tompkins到Matlab实现与避坑指南

简介:Matlab心电信号峰值检测实践资源,面向本科、硕士及教研人群,属于Matlab基础算法与应用结合的入门级素材。资源以心电图信号处理为切入点,展示如何利用Matlab完成信号读取、波形展示与峰值定位,帮助读者快速建立信…

2026/10/11 11:49:16 阅读更多 →

日新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/11 0:00:27 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/11 0:00:27 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/11 10:45:37 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 21:32:20 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 10:38:42 阅读更多 →