Milvus 向量数据库完全指南

发布时间：2026/10/15 9:08:19

Milvus 向量数据库完全指南
1. 深度介绍1.1 Milvus 是什么Milvus 是一款云原生、开源的向量数据库。在电商场景中它不仅能通过关键词匹配商品更能理解用户的“模糊意图”。例如用户搜索“适合夏天穿的透气运动鞋”传统搜索引擎可能只能匹配包含这些词的商品而 Milvus 结合 Embedding 模型能直接找到语义上符合“夏季”、“透气”、“运动”特征的鞋类商品即使商品标题中没有完全匹配这些词。1.2 核心架构组件组件作用Proxy接入层负责请求转发和权限校验。Query Node负责执行查询任务加载索引到内存中进行实时检索。Data Node负责数据的持久化存储将增量数据刷新到对象存储MinIO/S3。Index Node负责异步构建索引将原始向量转换为高效的索引结构。Etcd存储元数据集合定义、分区信息等。MinIO/S3存储实际的向量数据和日志文件。2. 环境搭建与部署2.1 Docker Compose 生产级部署这是最推荐的本地开发和测试方式。# docker-compose.yml version: 3.5 services: etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.9 environment: - ETCD_AUTO_COMPACTION_MODErevision - ETCD_AUTO_COMPACTION_RETENTION1000 volumes: - ./volumes/etcd:/etcd command: etcd -advertise-client-urlshttp://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin volumes: - ./volumes/minio:/minio_data command: minio server /minio_data standalone: container_name: milvus-standalone image: milvusdb/milvus:v2.3.4 command: [milvus, run, standalone] environment: ETCD_ENDPOINTS: etcd:2379 MINIO_ADDRESS: minio:9000 volumes: - ./volumes/milvus:/var/lib/milvus ports: - 19530:19530 # gRPC 端口 - 9091:9091 # Metrics 端口 depends_on: - etcd - minio启动命令mkdir -p volumes/{etcd,minio,milvus} docker-compose up -d2.2 Python SDK 安装pip install pymilvus2.3.43. 核心概念详解3.1 数据模型层级Collection (集合)类似于关系型数据库中的“表”是数据存储的基本单位。Partition (分区)集合内部的逻辑分组可以通过指定分区名来缩小搜索范围提高性能。Field (字段)集合中的列分为标量字段ID、标签和向量字段。Index (索引)建立在向量字段上的数据结构用于加速搜索。3.2 常用索引类型对比索引类型算法原理内存占用搜索速度适用场景FLAT暴力穷举低慢数据量 10万IVF_FLAT倒排文件 聚类中中通用场景平衡性能IVF_SQ8IVF 标量量化低中大数据集节省内存HNSW分层导航小世界图高极快对召回率和速度要求极高3.3 距离度量 (Metric Type)L2 (Euclidean): 欧氏距离。值越小越相似。适用于大多数通用场景。IP (Inner Product): 内积。值越大越相似。注意使用 IP 前通常需要对向量进行归一化。COSINE: 余弦相似度。值越大越相似范围 -1 到 1。强烈推荐用于文本 Embedding因为它不受向量长度影响只关注方向。4. 完整代码实战电商商品检索4.1 封装 Milvus 操作类为了方便在电商商品检索项目中使用我们封装一个工具类。import numpy as np from pymilvus import connections, utility, Collection, DataType, FieldSchema, CollectionSchema class EcommerceMilvusHelper: def init(self, hostlocalhost, port19530): self.host host self.port port self.collection_name product_search_engine self.dim 768 # 假设使用 BGE/Qwen-Embedding 768维 self.connect() def connect(self): 连接 Milvus 服务 try: connections.connect(aliasdefault, hostself.host, portself.port) print(fConnected to Milvus at {self.host}:{self.port}) except Exception as e: print(fFailed to connect: {e}) def create_collection(self): 创建商品检索集合 if utility.has_collection(self.collection_name): utility.drop_collection(self.collection_name) fields [ FieldSchema(nameproduct_id, dtypeDataType.INT64, is_primaryTrue, auto_idTrue), FieldSchema(namesku_code, dtypeDataType.VARCHAR, max_length50, description商品SKU编码), FieldSchema(nametitle, dtypeDataType.VARCHAR, max_length500, description商品标题), FieldSchema(namecategory, dtypeDataType.VARCHAR, max_length50, description商品类目), FieldSchema(nameprice, dtypeDataType.DOUBLE, description商品价格), FieldSchema(nameembedding, dtypeDataType.FLOAT_VECTOR, dimself.dim) ] schema CollectionSchema(fieldsfields, description电商商品知识库) collection Collection(nameself.collection_name, schemaschema) print(fCollection {self.collection_name} created.) return collection def create_index(self, collection): 创建 HNSW 索引 index_params { metric_type: COSINE, index_type: HNSW, params: {M: 16, efConstruction: 200} } collection.create_index(field_nameembedding, index_paramsindex_params) collection.load() # 必须加载到内存才能搜索 print(Index created and collection loaded.) def insert_products(self, collection, titles, categories, prices, embeddings): 批量插入商品数据 entities [ titles, # title 字段 categories, # category 字段 prices, # price 字段 embeddings # embedding 字段 ] result collection.insert(entities) collection.flush() # 确保持久化 print(fInserted {len(titles)} products. IDs: {result.primary_keys[:5]}...) def search_products(self, collection, query_embedding, top_k5, filter_exprNone): 执行商品相似度搜索 search_params {metric_type: COSINE, params: {ef: 64}} results collection.search( data[query_embedding], anns_fieldembedding, paramsearch_params, limittop_k, exprfilter_expr, # 例如: category 运动鞋 and price lt; 500 output_fields[title, category, price, sku_code] ) hits [] for result in results: for hit in result: hits.append({ id: hit.id, title: hit.entity.title, category: hit.entity.category, price: hit.entity.price, distance: hit.distance # 相似度分数 }) return hits def drop_collection(self): 删除集合 if utility.has_collection(self.collection_name): utility.drop_collection(self.collection_name) print(Collection dropped.)4.2 业务逻辑调用示例下面是一个完整的使用示例展示如何调用前面封装的工具类进行商品检索def main(): helper EcommerceMilvusHelper() # 初始化 col helper.create_collection() helper.create_index(col) 模拟商品数据准备 (实际项目中应调用 Embedding 模型) mock_titles [ 耐克夏季透气网面跑步鞋男款, 阿迪达斯经典复古板鞋白色, 李宁专业马拉松竞速跑鞋, 安踏儿童防滑篮球鞋, 新百伦缓震慢跑鞋灰色 ] mock_categories [运动鞋, 休闲鞋, 运动鞋, 童鞋, 运动鞋] mock_prices [499.0, 699.0, 899.0, 299.0, 559.0] 随机生成 768 维向量作为演示 mock_embeddings [np.random.random(768).astype(np.float32) for _ in range(5)] 插入数据 helper.insert_products(col, mock_titles, mock_categories, mock_prices, mock_embeddings) 搜索测试用户想找适合夏天跑的轻便鞋子 query_vec np.random.random(768).astype(np.float32) print(\n--- 开始语义搜索 ---) 混合查询只在运动鞋类目下搜索且价格低于 600 filter_expr category 运动鞋 and price lt; 600 results helper.search_products(col, query_vec, top_k3, filter_exprfilter_expr) for res in results: print(f商品: {res[title]}) print(f类目: {res[category]}, 价格: ¥{res[price]}) print(f相似度: {res[distance]:.4f}) print(- * 30) if name main: main()5. 高级功能与优化5.1 混合查询 (Hybrid Search)在电商场景中用户往往既有语义需求好看的裙子又有硬性指标红色、S码、200元以下。Milvus 的 expr 参数完美支持这种需求。过滤表达式语法类似 SQL WHEREfilter_expr category 连衣裙 and color 红色 and price between [100, 300] results collection.search( data[query_vec], anns_fieldembedding, param{metric_type: COSINE, params: {ef: 64}}, limit10, exprfilter_expr )5.2 分区管理 (Partition)如果商品库极大可以按类目或品牌进行分区提升检索效率# 创建分区 collection.create_partition(partition_nameelectronics) 向指定分区插入 collection.insert(entities, partition_nameelectronics) 在指定分区搜索 collection.search(..., partition_names[electronics])5.3 性能优化建议向量归一化如果使用 COSINE 或 IP 距离度量务必在存入前对向量进行 L2 归一化。索引参数调优HNSW 的 M 越大搜索越快但内存占用越高。efConstruction 越大索引质量越高但构建越慢。批量插入不要一条条插入建议使用 insert 批量写入每次 1000-5000 条并定期调用 flush()。资源监控通过 9091 端口查看 Prometheus 监控指标关注 Query Node 的内存使用率。6. 常见问题 (FAQ)Q: 搜索结果为空怎么办A:检查集合是否已调用 load() 加载到内存检查查询向量的维度是否与 Schema 定义一致。Q: 如何删除下架商品A:collection.delete(expr product_id in [1001, 1002])Q: 如何备份商品库数据A:Milvus 的数据存储在 MinIO/S3 中可以直接备份这些存储桶。也可以使用 milvus-backup 工具进行逻辑备份。Q: 为什么相似度分数有的大于 1有的小于 0A:如果你使用的是 L2 距离值是距离而非相似度。如果使用 COSINE正常范围是 [-1, 1]。请确保 Metric Type 设置正确。

相关新闻

Bloc状态管理_Flutter在鸿蒙平台基于流的状态管理方案

Bloc状态管理_Flutter在鸿蒙平台基于流的状态管理方案

作者：付文龙（红目香薰） 仓库地址：https://gitcode.com/feng8403000/FlutterfromBeginnertoAdvancedForHarmonyOS.git 联系邮箱：372699828qq.com 概述 Bloc（Business Logic Component）是一种基…

2026/10/15 9:07:58 阅读更多 →
从PubMed到arXiv，AI搜索精准抓取“被引但未列”的关键文献：科研反脆弱性构建的第4范式（独家算法白皮书节选）

从PubMed到arXiv，AI搜索精准抓取“被引但未列”的关键文献：科研反脆弱性构建的第4范式（独家算法白皮书节选）

更多请点击： https://intelliparadigm.com 第一章：从PubMed到arXiv，AI搜索精准抓取“被引但未列”的关键文献：科研反脆弱性构建的第4范式（独家算法白皮书节选） 传统文献检索常陷入“可见性陷阱”&#xff…

2026/10/14 5:48:32 阅读更多 →
【AI视频演示ROI翻倍实战手册】：实测提升平均停留时长317%，附Figma+Runway双平台操作速查表

【AI视频演示ROI翻倍实战手册】：实测提升平均停留时长317%，附Figma+Runway双平台操作速查表

更多请点击： https://intelliparadigm.com 第一章：AI视频产品演示视频的核心价值与ROI验证模型 AI视频产品演示视频已超越传统营销素材的定位，成为技术可信度、用户理解效率与销售转化闭环的关键枢纽。其核心价值体现在三重维度：…

2026/10/13 23:39:14 阅读更多 →

最新新闻

Vue3 Composition API 核心设计与实战解析

Vue3 Composition API 核心设计与实战解析

1. Vue3 Composition API 核心设计理念解析第一次接触Composition API时，最让我震撼的是它彻底改变了Vue代码的组织方式。传统Options API就像在填写一份固定格式的问卷，而Composition API则像在白纸上自由作画。这种编程范式的转变背后，是Vu…

2026/10/15 9:07:45 阅读更多 →
C语言笔试题结构化处理与能力训练方案

C语言笔试题结构化处理与能力训练方案

简介：本资源是一份面向C语言初学者与求职者的经典笔试复习资料，聚焦内存管理、指针运算、关键字语义及多线程基础等高频考点，专为校招/社招技术面试准备而整理。文档以问答形式系统梳理sizeof与strlen的本质区别、栈与堆的内存分配机制、大小…

2026/10/15 9:07:45 阅读更多 →
ISP 3A算法核心解析：AWB/AE实现、避坑指南与平台移植

ISP 3A算法核心解析：AWB/AE实现、避坑指南与平台移植

简介：摄像机与人眼在成像原理上存在差异，导致画面出现偏色、曝光失真等问题，ISP 3A算法正是解决这些痛点的关键环节。这份文档面向摄像头、数码相机及网络摄像机相关开发人员，系统讲解基于TI达芬奇平台的3A算法设计，也…

2026/10/15 9:07:45 阅读更多 →
校招笔试真题复盘：进程线程、滑动窗口与动态规划

校招笔试真题复盘：进程线程、滑动窗口与动态规划

2019年校招季，某大型互联网公司（下面统一叫B公司）的笔试题，在当年一众大厂笔试里算是一份很典型的卷子。不少同学提前刷了两个月题，考完出来第一反应都是“题型不偏，就是做不快”。我后来把这份卷子的考点逐…

2026/10/15 9:07:45 阅读更多 →
OpenClaw：离线多模态Bot如何实现可信人机协作

OpenClaw：离线多模态Bot如何实现可信人机协作

1. 项目概述：OpenClaw 不是“又一个 Bot 工具”，而是人机协作范式的临界点最近刷技术社区、开发者群和运维论坛，几乎绕不开 OpenClaw 这个词。它不像早期的自动化脚本那样藏在后台静默运行，也不像传统 RPA 工具那样需要拖拽流程图…

2026/10/15 9:07:45 阅读更多 →
Diagram-as-Code：用代码写图实现设计即代码

Diagram-as-Code：用代码写图实现设计即代码

1. 项目概述：这不是画图，是构建可演进的系统表达语言“diagram-design”这四个字乍看像一个工具栏里的功能按钮，但在我过去十年带团队做技术方案设计、系统架构评审和跨职能协作的过程中，它早已不是“用Visio拖几个方块”的代名词…

2026/10/15 9:06:37 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时，网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上，依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容：Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容：Kubernetes实战与避坑指南

1. 共享推理服务里，扩缩容到底难在哪做过大模型推理服务部署的人，大概都经历过这样的场景：一个团队共用一套推理集群，A 业务跑的是 7B 的小模型，B 业务跑的是 72B 的大模型，C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜：fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜：fstab 与 remount-fs 服务深度解析

1. 引子：一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减，为了把启动时间压进两秒以内，我手贱地把一串自认为“没用”的 systemd 服务给 disable 了，其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

简介：基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码，面向计算机相关专业课程设计与期末大作业学生，以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程，…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化，十个新手有八个栽在"往输入框里填东西"这件事上：要么填不进去，要么填了一半，要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀：什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面，跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 0:14:36 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 7:53:34 阅读更多 →