Agent开发:记忆系统中向量存储的合理安排
以我的项目为例使用到的数据库有postgres、milvus以及图数据库neo4j除了数据库外还用了es作为搜索引擎其中只有postgres、milvus存储了语义转化后的向量值为什么这么分PG存向量JSON持久化事务去重UNIQUE(doc_hash,chunk_idx)但JSONB只能暴力算余弦量大不行只做兜底TF检索。这里的关键是doc_hash能保证同一文档不会重复入库chunk_idx则记录分块顺序方便后续按原文位置回溯。虽然JSONB存向量后无法走索引加速只能逐行计算余弦相似度数据量一上来性能就崩但作为兜底方案处理低频关键词召回已经足够。Milvus存向量专做高维ANN2048维IVF毫秒级TopKPG做不到。Milvus 的核心优势在于IVF索引把向量空间划分成多个子簇查询时只扫描最相关的几个簇配合2048维的高维向量依然能保持毫秒级响应。相比之下PG 的暴力扫描在百万级向量下会退化到秒级甚至更慢完全无法支撑实时检索场景。ES只存文本专做BM25倒排补语义漏掉的精确词/型号/人名。ES也能存dense_vector做kNN但本项目不需要一是运维/调参双写成本二是ES kNN大规模不如Milvus三是混合检索要两路独立排序再RRF放一起就失去正交性了。具体来说BM25擅长处理精确匹配比如用户搜RTX 4090这种型号词语义检索可能把它当成普通名词而BM25能精准命中RRF融合时两路检索各自独立打分再合并排名才能发挥互补优势如果都塞进 ES 就退化成单路检索了。一句话PG账本Milvus语义检索引擎ES关键词检索引擎。补充JSONB:即postgre里面存的json的二进制形式为什么Milvus能毫秒级PG做不到milvus里有特殊的索引结构annknnKNN精确最近邻全量算完取最小的K个保证100%准但慢。ANN近似最近邻用IVF/HNSW等索引用损失一点精度换10~100倍速度。比如召回率95%但只要5ms。RAG召回本来就要TopK再让LLM重排丢5%完全可接受。

相关新闻

BMD转SMD工具深度解析:封装库转换的五大暗坑与验证指南

BMD转SMD工具深度解析:封装库转换的五大暗坑与验证指南

简介:这是一款面向游戏开发与三维建模场景的模型格式转换工具,提供BMD与SMD双向互转功能,版本为PentiumTools-v.1.06。工具的核心价值在于打通Mirage三维软件相关格式与Valve引擎常用格式之间的壁垒,使设计师无需重新建模&#xf…

2026/10/11 4:08:00 阅读更多 →
基于KU115 FPGA的高速数据采集预处理PCIe载板设计

基于KU115 FPGA的高速数据采集预处理PCIe载板设计

做高速数据采集和处理这行这么多年,我有个很深的体会:瓶颈从来不在ADC采样率,也不在CPU主频,而卡在数据从传感器到主机的这条路上。手里拿着十路二十路的宽带ADC,单路采样率动辄几百MSPS,一算原始吞吐马上就…

2026/10/11 4:06:59 阅读更多 →
后端返回二进制流,前端处理二进制文件流,实现预览图片以及PDF

后端返回二进制流,前端处理二进制文件流,实现预览图片以及PDF

个人博客(纯手戳产物 vue3 nodejs mysql )http://36.151.145.67:30000/ 1、首先预览PDF需要后端将响应头Content-Type 设置为PDF类型application/pdf,不能预览,会直接下载 2、前端定义接口:并设置相应类型responseTy…

2026/10/11 4:06:59 阅读更多 →

最新新闻

企业微信API开发:消息模板怎么设计才方便维护?

企业微信API开发:消息模板怎么设计才方便维护?

在企业微信消息推送项目中,订单通知、售后提醒和客户跟进消息往往有不同的格式。 如果每个业务模块都通过字符串拼接生成内容,后期修改文案时容易出现格式不统一、字段遗漏等问题。 可以考虑将消息内容与业务逻辑分开管理。 一、把固定内容和动态字段…

2026/10/11 4:55:26 阅读更多 →
边界值分析法:用最小用例成本精准捕获软件缺陷

边界值分析法:用最小用例成本精准捕获软件缺陷

1. 为什么边界区域总是藏着最多的bug1.1 从一次线上事故说起我印象最深的一次线上事故,不是复杂的高并发架构问题,而是一个看似简单的评分功能。系统规定用户评分范围是1到5分,前端做了滑动条只能拖1到5,结果后端接口校验时写的是…

2026/10/11 4:55:26 阅读更多 →
GitHub热榜的正确打开方式:从围观到技术选型的实战指南

GitHub热榜的正确打开方式:从围观到技术选型的实战指南

每天早上我习惯先刷一眼 GitHub 热榜,尤其是日榜。2026-10-09 的这份日榜,既有刚冒头的新仓库,也有更新了大版本之后重新冲上来的老项目。单看列表会觉得“今天又是 AI 和效率工具刷屏”,但如果你只停留在收藏夹里,那基…

2026/10/11 4:55:26 阅读更多 →
采访录音噪音大怎么修复人声:降噪之后还要检查可听性

采访录音噪音大怎么修复人声:降噪之后还要检查可听性

采访录音噪音大怎么修复人声,关键不是只看能不能一键降噪,而是先判断噪声类型、人声清晰度和成片用途,再分步骤处理。剪映专业版可以用于资料确认端侧场景下的视频剪辑、基础降噪处理和成片预览等环节;但如果录音存在严重失真、爆…

2026/10/11 4:55:26 阅读更多 →
GitHub九月热门榜:AI应用与开发者工具十大项目解析

GitHub九月热门榜:AI应用与开发者工具十大项目解析

每年9月,GitHub 的热门项目榜单都会迎来一波明显的换血。今年(2026年)尤其明显:AI 应用层的项目不再只是套壳,而是开始啃硬骨头——推理成本优化、多智能体协作、私有化部署都出现了值得关注的新面孔;开发者…

2026/10/11 4:55:26 阅读更多 →
流式响应处理实战:事件切分、增量解码与超时取消设计

流式响应处理实战:事件切分、增量解码与超时取消设计

1. 流式响应处理的核心设计思路1.1 为什么流式场景需要单独设计一套消费逻辑很多开发者第一次接触流式接口时,习惯性地把返回结果当成一个完整的 JSON 一次性解析,结果要么卡住不动,要么拿到一堆半截数据。流式响应的本质是服务端把一次完整回…

2026/10/11 4:54:26 阅读更多 →

日新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/11 0:00:27 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/11 0:00:27 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/11 0:00:27 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 5:23:50 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 21:32:20 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 10:38:42 阅读更多 →