CocoIndex 快速入门:10分钟从零构建第一个向量索引
CocoIndex 快速入门10分钟从零构建第一个向量索引【免费下载链接】cocoindexIncremental engine for long horizon agents Star if you like it!项目地址: https://gitcode.com/GitHub_Trending/co/cocoindex用 CocoIndex——一个支持自定义转换逻辑与增量更新的开源数据索引引擎——把本地 Markdown 文件读进来、切成文本块、算出嵌入向量再带着向量索引写进 PostgreSQL。这就是本文要带你做完的事数据提取、转换、索引一条线走完文本检索、图像识别这类场景都建立在这个模式上。10分钟后的成果一条可查询的向量索引跑完本文你会拥有PostgreSQL 里一张doc_embeddings表每个文档块一行含文本、块位置、嵌入向量且向量列建了相似度索引一条可重复执行的索引流源文件新增、修改或删除时增量重算只动变化的部分一个模板之后换数据源、换目标存储结构不变只换两端。环境三步准备 安装引擎与本地嵌入依赖pip install -U cocoindex[embeddings][embeddings]额外装好本地嵌入模型需要的依赖同时提供cocoindex命令行。起一个带 pgvector 扩展的 PostgreSQL用来存放向量docker compose -f dev/postgres.yaml up -d这份配置就在仓库dev/目录里镜像pgvector/pgvector:pg17账号cocoindex库名cocoindex端口5432。不想用 Docker 的话可按 Postgres 连接器文档 自行安装。建好项目目录和放数据的文件夹mkdir cocoindex-quickstart cd cocoindex-quickstart mkdir markdown_files然后下载 markdown_files.zip把里面 3 个示例 Markdown 文件解压到markdown_files目录中。编写 TextEmbedding 索引流四个任务逐段拆解先看下数据走向源数据经过分块、嵌入这些自定义转换最终落进向量目标存储。新建main.py下面按四个任务逐段写入。接入数据源声明 LocalFile 与收集器import cocoindex cocoindex.flow_def(nameTextEmbedding) def text_embedding_flow( flow_builder: cocoindex.FlowBuilder, data_scope: cocoindex.DataScope, ): data_scope[documents] flow_builder.add_source( cocoindex.sources.LocalFile(pathmarkdown_files) ) doc_embeddings data_scope.add_collector()flow_def注册一个名为TextEmbedding的索引流。LocalFile(pathmarkdown_files)把目录里每个文件变成一行数据add_collector()建一个收集器后面逐行攒最终结果。递归分块用 SplitRecursively 控制块大小分块——把长文本切成嵌入模型能处理的小段with data_scope[documents].row() as doc: doc[chunks] doc[content].transform( cocoindex.functions.SplitRecursively(), languagemarkdown, chunk_size2000, chunk_overlap500, )languagemarkdown让切分时遵循 Markdown 结构优先从自然边界下手chunk_size2000是每块的目标长度chunk_overlap500让相邻两块重叠 500 个字符避免语义在边界处被截断。每块会自动带一个location字段记录它在文档中的位置。生成嵌入SentenceTransformerEmbed 产出向量嵌入——把文本转成能计算语义相似度的数值向量with doc[chunks].row() as chunk: chunk[embedding] chunk[text].transform( cocoindex.functions.SentenceTransformerEmbed( modelsentence-transformers/all-MiniLM-L6-v2 ) ) doc_embeddings.collect( filenamedoc[filename], locationchunk[location], textchunk[text], embeddingchunk[embedding], )all-MiniLM-L6-v2是个轻量模型CPU 即可运行首次使用会自动下载。每算出一块向量collect就把文件名、块位置、原文、向量四列攒进收集器。声明导出把向量写入 Postgres 并建索引doc_embeddings.export( doc_embeddings, cocoindex.storages.Postgres(), primary_key_fields[filename, location], vector_indexes[ cocoindex.VectorIndexDef( field_nameembedding, metriccocoindex.VectorSimilarityMetric.COSINE_SIMILARITY, ) ], )doc_embeddings是目标表名primary_key_fields指定“文件名块位置”为主键重复运行时同一块会被更新而不是重复插入VectorIndexDef在 embedding 列上建余弦相似度索引之后的相似度搜索就查它。执行 cocoindex update 并即时验证向量入库 ✅先告诉索引流数据库在哪export COCOINDEX_DATABASE_URLpostgresql://cocoindex:cocoindexlocalhost:5432/cocoindex地址里的账号、库名、端口与前面 Docker 起的 Postgres 完全对应。然后执行更新命令cocoindex update main首次运行会看到统计输出documents: 3 added, 0 removed, 0 updated3 added表示 3 个示例文档全部完成分块和嵌入0 removed / 0 updated表示没有需要清理或重算的旧数据。此时进 PostgreSQL 的doc_embeddings表里查行数等于 3 个文档的总块数每行的embedding列就是向量可以直接按余弦相似度检索。延伸核心概念、示例目录与可替换的连接器 核心概念理解状态驱动编程与增量处理的原理读一遍不亏示例目录文本检索、图像搜索、知识图谱等现成玩法按兴趣挑一个跟做想换数据源或目标存储看 连接器一览本地文件、S3、Kafka、多种向量库都能替换本文的流结构不用动。【免费下载链接】cocoindexIncremental engine for long horizon agents Star if you like it!项目地址: https://gitcode.com/GitHub_Trending/co/cocoindex创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

gs-quant 时间序列代数库 exp 函数:指数运算的 API、源码实现与实战应用

gs-quant 时间序列代数库 exp 函数:指数运算的 API、源码实现与实战应用

gs-quant 时间序列代数库 exp 函数:指数运算的 API、源码实现与实战应用 【免费下载链接】gs-quant Python toolkit for quantitative finance 项目地址: https://gitcode.com/GitHub_Trending/gs/gs-quant gs-quant 的 timeseries.algebra 模块提供了一套面…

2026/10/25 19:31:31 阅读更多 →
基于PHP与原生前端四件套的租车网站源码设计与实战解析

基于PHP与原生前端四件套的租车网站源码设计与实战解析

简介:一套基于PHP、HTML、JavaScript、CSS构建的租车网站设计源码,面向具备一定网页开发基础的学习者与开发者,可用于快速搭建功能完整的租车业务平台。整个资源包共含2000个文件,以1277个PHP文件为核心,负责用户管理、…

2026/11/9 22:19:36 阅读更多 →
【小程序计算机毕业设计案例】基于 SpringBoot 与微信小程序的电子数据取证知识考核系统的设计与实现 基于前后端分离的大学电子数据取证在线测试系统(程序+文档+讲解+定制)

【小程序计算机毕业设计案例】基于 SpringBoot 与微信小程序的电子数据取证知识考核系统的设计与实现 基于前后端分离的大学电子数据取证在线测试系统(程序+文档+讲解+定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/10/24 4:52:17 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻