将 Embedding 模型加载到 Elasticsearch 中

发布时间：2026/10/25 23:47:26

将 Embedding 模型加载到 Elasticsearch 中
本工作簿使用一个由 Elastic 博客标题组成的简单数据集在 Elasticsearch 中实现 NLP 文本搜索。你将索引博客文档并使用 ingest pipeline 生成文本 embedding。随后通过使用 NLP 模型你可以使用自然语言对这些博客文档进行查询。更多阅读Elasticsearch如何部署文本嵌入模型并将其用于语义搜索前提条件在开始之前请创建一个 Elastic Cloud deployment并启用 autoscale确保至少有一个具有足够4GB内存的机器学习ML节点。同时确保 Elasticsearch 集群正在运行。如果你还没有 Elastic deployment可以注册免费的 Elastic Cloud 试用版。安装软件包并导入模块!python3 -m pip install sentence-transformers2.7.0 eland elasticsearch transformers开始之前你需要安装所有必需的 Python 依赖项。!python3 -m pip install sentence-transformers2.7.0 eland9 elasticsearch9 transformers # 导入模块 from elasticsearch import Elasticsearch from getpass import getpass from urllib.request import urlopen import json from time import sleep部署 NLP 模型我们使用eland工具安装一个text_embedding模型。这里使用all-MiniLM-L6-v2模型将搜索文本转换为 dense vector。该模型会将你的搜索查询转换为向量用于在存储于 Elasticsearch 中的文档集合上执行搜索。安装文本 embedding NLP 模型使用eland_import_hub_model脚本下载并安装all-MiniLM-L6-v2Transformer 模型并将 NLP 的--task-type设置为text_embedding。要获取 Cloud ID请进入 Elastic Cloud在 deployment 概览页面复制 Cloud ID。为了验证请求身份你可以使用 API key。或者也可以使用 Cloud deployment 的用户名和密码。# https://www.elastic.co/search-labs/tutorials/install-elasticsearch/elastic-cloud#finding-your-cloud-id ELASTIC_CLOUD_ID getpass(Elastic Cloud ID: ) # https://www.elastic.co/search-labs/tutorials/install-elasticsearch/elastic-cloud#creating-an-api-key ELASTIC_API_KEY getpass(Elastic Api Key: )!eland_import_hub_model \ --cloud-id $ELASTIC_CLOUD_ID \ --hub-model-id sentence-transformers/all-MiniLM-L6-v2 \ --task-type text_embedding \ --es-api-key $ELASTIC_API_KEY \ --start \ --clear-previous连接到 Elasticsearch 集群使用 deployment 的 Cloud ID 和 API Key 创建一个 Elasticsearch client 实例。在本示例中我们使用上一步中的API_KEY和CLOUD_ID。你也可以使用 deployment 的用户名和密码进行身份验证。es Elasticsearch( cloud_idELASTIC_CLOUD_ID, api_keyELASTIC_API_KEY, request_timeout600 ) es.info() # 应返回集群信息创建 Ingest Pipeline我们需要创建一个文本 embedding ingest pipeline为title字段生成向量文本embedding。下面的 pipeline 定义了一个 processor用于调用 NLP 模型执行 inference。# ingest pipeline 定义 PIPELINE_ID vectorize_blogs es.ingest.put_pipeline( idPIPELINE_ID, processors[ { inference: { model_id: sentence-transformers__all-minilm-l6-v2, target_field: text_embedding, field_map: {title: text_field}, } } ], )创建带有 mapping 的索引现在在索引文档之前我们先创建一个具有正确 mapping 的 Elasticsearch 索引。我们添加text_embedding字段用于包含model_id和predicted_value以存储 embedding。# 定义索引名称 INDEX_NAME blogs # 标志用于检查创建索引前是否删除已有索引 SHOULD_DELETE_INDEX True # 定义索引 mapping INDEX_MAPPING { properties: { title: { type: text, fields: { keyword: { type: keyword, ignore_above: 256 } }, }, text_embedding: { properties: { is_truncated: { type: boolean }, model_id: { type: text, fields: { keyword: { type: keyword, ignore_above: 256 } }, }, predicted_value: { type: dense_vector, dims: 384, index: True, similarity: l2_norm, }, } }, } } INDEX_SETTINGS { index: { number_of_replicas: 1, number_of_shards: 1, default_pipeline: PIPELINE_ID, } } # 检查是否需要在创建索引前删除已有索引 if SHOULD_DELETE_INDEX: if es.indices.exists(indexINDEX_NAME): print(Deleting existing %s % INDEX_NAME) es.indices.delete(indexINDEX_NAME, ignore[400, 404]) print(Creating index %s % INDEX_NAME) es.indices.create( indexINDEX_NAME, mappingsINDEX_MAPPING, settingsINDEX_SETTINGS, ignore[400, 404] )将数据索引到 Elasticsearch现在使用 ingest pipeline 索引示例博客数据。注意在开始索引之前请确保你已经启动训练好的模型 deployment。url https://raw.githubusercontent.com/elastic/elasticsearch-labs/main/notebooks/integrations/hugging-face/blogs.json response urlopen(url) titles json.loads(response.read()) actions [] for title in titles: actions.append({index: {_index: blogs}}) actions.append(title) es.bulk(indexblogs, operationsactions) sleep(5)查询数据集下一步是执行查询搜索相关博客。下面的示例使用我们上传到 Elasticsearch 的sentence-transformers__all-minilm-l6-v2模型对model_text: how to track network connections进行搜索。整个过程只需一次查询尽管内部实际上包含两个步骤。首先查询会使用 NLP 模型为搜索文本生成一个向量然后使用该向量在数据集中执行搜索。最终输出将显示按与搜索查询接近程度排序的文档列表。INDEX_NAME blogs source_fields [id, title] query { field: text_embedding.predicted_value, k: 5, num_candidates: 50, query_vector_builder: { text_embedding: { model_id: sentence-transformers__all-minilm-l6-v2, model_text: how to track network connections, } }, } response es.search( indexINDEX_NAME, fieldssource_fields, knnquery, sourceFalse, ) def show_results(results): for result in results: print( f{result[fields][title]}\n fScore: {result[_score]}\n ) show_results(response.body[hits][hits])输出[Brewing in Beats: Track network connections] Score: 0.5917864 [Machine Learning for Nginx Logs - Identifying Operational Issues with Your Website] Score: 0.40109876 [Data Visualization For Machine Learning] Score: 0.39027885 [Logstash Lines: Introduce integration plugins] Score: 0.36899462 [Keeping up with Kibana: This week in Kibana for November 29th, 2019] Score: 0.35690257原文https://www.elastic.co/search-labs/tutorials/examples/nlp-model-vector-search-elasticsearch

相关新闻

RxJavaExtensions调试指南：3步定位复杂响应式流问题，开发效率翻倍

RxJavaExtensions调试指南：3步定位复杂响应式流问题，开发效率翻倍

RxJavaExtensions调试指南：3步定位复杂响应式流问题，开发效率翻倍 【免费下载链接】RxJavaExtensions RxJava 4.x extra sources, operators and components and ports of many 1.x companion libraries. 项目地址: https://gitcode.com/gh_mirrors/rx…

2026/10/26 12:58:57 阅读更多 →
Rofunc与Isaac Gym集成：打造高性能机器人强化学习训练平台

Rofunc与Isaac Gym集成：打造高性能机器人强化学习训练平台

Rofunc与Isaac Gym集成：打造高性能机器人强化学习训练平台 【免费下载链接】Rofunc 🤖 The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation 项目地址: https://gitcode.com/gh_mirrors/ro/Rofunc Ro…

2026/10/24 9:08:02 阅读更多 →
5分钟解锁QQ音乐加密音频：qmcdump完全使用指南

5分钟解锁QQ音乐加密音频：qmcdump完全使用指南

5分钟解锁QQ音乐加密音频：qmcdump完全使用指南 【免费下载链接】qmcdump 一个简单的QQ音乐解码（qmcflac/qmc0/qmc3 转 flac/mp3），仅为个人学习参考用。 项目地址: https://gitcode.com/gh_mirrors/qm/qmcdump 还在为QQ音乐…

2026/10/25 21:59:49 阅读更多 →

最新新闻

Electron桌面应用开发实战：从环境搭建到打包发布全流程

Electron桌面应用开发实战：从环境搭建到打包发布全流程

做前端这些年，我大部分时间都在跟浏览器标签页打交道，直到第一次把桌面应用跑起来，才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词，最开始是在某段时间频繁出现在同事的讨论里，一个用HTML…

2026/10/26 12:00:21 阅读更多 →
滑盖智能锁T109深度解析：结构原理、安装调试与故障排查

滑盖智能锁T109深度解析：结构原理、安装调试与故障排查

简介：亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档，主要面向智能锁安装人员、终端用户及售后维护者，帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件，大小4.37MB，内容结构清晰&#xff…

2026/10/25 22:36:10 阅读更多 →
PMSM弱磁控制原理与Simulink建模：高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模：高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统，整车要求空载跑到8m/s，电机转速已经拉到额定点，驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令，转速纹丝不动，三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/10/26 4:52:12 阅读更多 →
C++核心知识点：从内存管理到STL的实战指南

C++核心知识点：从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年，用它写过嵌入式驱动、做过游戏服务端，也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词，我其实挺感慨的——这门语言的难点从来不是语法多，而是知识点之间的耦合太深…

2026/10/26 12:00:21 阅读更多 →
T109滑盖智能锁怎么装？安装调试与故障排查全攻略

T109滑盖智能锁怎么装？安装调试与故障排查全攻略

简介：亚太天能T109滑盖智能锁产品说明书以PDF格式发布，适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开，先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能，再给出完整安装步骤&…

2026/10/26 5:00:37 阅读更多 →
LLM知识降熵：从信息垄断到理解权下放

LLM知识降熵：从信息垄断到理解权下放

你有没有过这种经历：翻开源码注释、论文摘要或者一份专业报告，每个字都认识，连在一起却像天书。想找人聊聊，身边要么没人懂，要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型，几秒钟之后&a…

2026/10/26 3:16:46 阅读更多 →

日新闻

周新闻

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/26 12:00:19 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/25 13:21:54 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/26 8:34:37 阅读更多 →