ElasticSearch 笔记

一、搜索引擎1 概念所谓搜索引擎就是根据用户需求与一定算法运用特定策略从互联网检索出指定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模 块一般包括爬虫、索引、检索和排序等同时可添加其他一系列辅助模块以为用户创造更好的网络使用环境。2 分类全文搜索引擎一般网络用户适用于全文搜索引擎。这种搜索方式方便、简捷并容易获得所有相关信息。但搜索到的信息过于庞杂因此用户需要逐一浏览并甄别出所需信息。尤其在用户没有明确检索意图情况下这种搜索方式非常有效。元搜索引擎元搜索引擎适用于广泛、准确地收集信息。不同的全文搜索引擎由于其性能和信息反馈能力差异导致其各有利弊。元搜索引擎的出现恰恰解决了这个问题有利于各基本搜索引擎间的优势互补。而且本搜索方式有利于对基本搜索方式进行全局控制引导全文搜索引擎的持续改善。垂直搜索引擎垂直搜索引擎适用于有明确搜索意图情况下进行检索。例如用户购买机票、火车票、汽车票时或想要浏览网络视频资源时都可以直接选用行业内专用搜索引擎以准确、迅速获得相关信息。目录搜索引擎目录搜索引擎是网站内部常用的检索方式。本搜索方式指在对网站内信息整合处理并分目录呈现给用户但其缺点在于用户需预先了解本网站的内容并熟悉其主要模块构成。总而观之目录搜索方式的适应范围非常有限且需要较高的人工成本来支持维护。新网页搜索引擎2022年6月3日消息苹果将推出以用户为中心的新网页搜索引擎。3 发展趋势社会化搜索社交网络平台和应用占据了互联网的主流社交网络平台强调用户之间的联系和交互这对传统的搜索技术提出了新的挑战。 传统搜索技术强调搜索结果和用户需求的相关性社会化搜索除了相关性外还额外增加了一个维度 即搜索结果的可信赖性。对某个搜索结果传统的结果可能成千上万但如果处于用户社交网络内其他用户发布的信息、点评或验证过的信息则更容易信赖这是与用户的心里密切相关的。社会化搜索为用 户提供更准确、更值得信任的搜索结果。实时搜索对搜索引擎的实时性要求日益增高这也是搜索引擎未来的一个发展方向。 实时搜索最突出的特点是时效性强越来越多的突发事件首次发布在微博上实时搜索核心强调的就是 “快”用户发布的信息第一时间能被搜索引擎搜索到。不过在国内实时搜索由于各方面的原因无法普及使用比如Google的实时搜索是被重置的百度也没有明显的实时搜索入口。移动搜索随着智能手机的快速发展基于手机的移动设备搜索日益流行但移动设备有很大的局限性比如屏幕太小可显示的区域不多计算资源能力有限打开网页速度很慢手机输入繁琐等问题都需要解决。 目前随着智能手机的快速普及移动搜索一定会更加快速的发展所以移动搜索的市场占有率会逐步上升而对于没有移动版的网站来说百度也提供了“百度移动开放平台”来弥补这个缺失。个性化搜索个性化搜索主要面临两个问题如何建立用户的个人兴趣模型?在搜索引擎里如何使用这种个人兴趣模型? 个性化搜索的核心是根据用户的网络行为建立一套准确的个人兴趣模型。而建立这样一套模型就要 全民收集与用户相关的信息包括用户搜索历史、点击记录、浏览过的网页、用户E-mail信息、收藏夹信息、用户发布过的信息、博客、微博等内容。比较常见的是从这些信息中提取出关键词及其权重。为不同用户提供个性化的搜索结果是搜索引擎总的发展趋势但现有技术有很多问题比如个人隐私的泄露而且用户的兴趣会不断变化太依赖历史信息可能无法反映用户的兴趣变化。地理位置感知搜索目前很多手机已经有GPS的应用了这是基于地理位置感知的搜索而且可以通过陀螺仪等设备感知 用户的朝向基于这种信息可以为用户提供准确的地理位置服务以及相关搜索服务。目前此类应用已经大行其道比如手机地图APP。跨语言搜索如何将中文的用户查询翻译为英文查询目前主流的方法有3种机器翻译、双语词典查询和双语语料挖掘。对于一个全球性的搜索引擎来说具备跨语言搜索功能是必然的发展趋势而其基本的技术路线一般会采用查询翻译加上网页的机器翻译这两种技术手段。多媒体搜索目前搜索引擎的查询还是基于文字的即使是图片和视频搜索也是基于文本方式。那么未来的多媒体 搜索技术则会弥补查询这一缺失。多媒体形式除了文字主要包括图片、音频、视频。多媒体搜索比纯 文本搜索要复杂许多一般多媒体搜索包含4个主要步骤多媒体特征提取、多媒体数据流分割、多媒体数据分类和多媒体数据搜索引擎。情境搜索情境搜索是融合了多项技术的产品上面介绍的社会化搜索、个性化搜索、地点感知搜索等都是支持情 境搜索的目前Google在大力提倡这一概念。所谓情境搜索就是能够感知人与人所处的环境针对 “此时此地此人”来建立模型试图理解用户查询的目的根本目标还是要理解人的信息需求。比如某个 用户在苹果专卖店附近发出“苹果”这个搜索请求基于地点感知及用户的个性化模型搜索引擎就有可能认为这个查询是针对苹果公司的产品而非对水果的需求。二、ElasticSearch1 概念ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎基于 RESTful web 接口。Elasticsearch 是用 Java 开发的并作为 Apache 许可条款下的开放源码发布是当前流行的企业级搜索引擎。设计用于云计算中能够达到实时搜索稳定可靠快速安装使用方便。基于 Apache Lucene 构建的开源搜索引擎才有java编写的提供简单易用的 RESTFul API轻松的横向拓展 可以支持PB级的结构化或非结构化数据处理2 基本数据类型关系型数据库ElasticSearch数据库 DataBase索引 Index表 Table类型 Type行 row文档 Document列 Column字段 FieldElasticSearch 约定每一个索引只能有一个类型 Type 并且类型名固定为_doc3 数据类型数据类型 Elasticsearch 是使用Java开发出来的所以它很多类型给Java是一样的比如byte short integer double float date boolean binary array object ip 、这里有个比较特殊的类型 String Elasticsearch 中 String 类型有种存在方式text 类型当一个字段是要被全文搜索的比如 Email 内容、产品描述应该使用 text 类型。设置 text 类型以后字段内容会被分析在生成倒排索引以前字符串会被分析器分成一个一个词项。text 类型的字段不用于排序很少用于聚合。keyword类型适用于索引结构化的字段比如 email 地址、主机名、状态码和标签。如果字段需要进 行过滤(比如查找已发布博客中 status 属性为 published 的文章)、排序、聚合。keyword 类型的字段只能 通过精确值搜索到。后续使用 Elasticsearch 做全文搜索时要求条件列必须是text类型。4 索引命令添加索引无构造器PUT index有构造器PUT index { mappings: { properties: { properties: { type: type } } } }删除索引DELETE index查询索引GET index5 文档操作添加/更新文档指定 ID 插入或全量更新PUT index/_doc/id { field1: value1, field2: value2 }不指定 ID 插入POST index/_doc { field1: value1, field2: value2 }指定 ID 部分更新POST index/_doc/id { doc: { field1: value1 } }操作时如果指定文档id 并且索引库中已经存在 则执行更新操作 否则执行添加查询文档# 查询一个 GET index/_doc/id # 查询所有 GET index/_search删除文档DELETE index/_doc/id6 全局搜索全文搜索依靠2个语句matchmulti_matchmatch用于单字段全文检索value值会被分词器拆分然后去倒排索引中匹配multi_match用于多字段全文检索value值会被分词器拆分然后去倒排索引中匹配# 查询标题有 游戏 手机 字样的 GET product/_search { query : { match: { title: 游戏手机 } } } # 查询标题或简介有 蓝牙 双卡 指纹 字样的 GET product/_search { query : { multi_match: { query: 蓝牙双卡指纹, fields: [title, intro] } } }7 分词器粗粒度拆分尽可能拆分更少的单词GET product/_analyze { text: 中华人民共和国大会堂, analyzer: ik_smart }细粒度拆分尽可能拆分更多的单词GET product/_analyze { text: 中华人民共和国大会堂, analyzer: ik_max_word }8 倒排索引为了增加效率搜索引擎会把正向索引变为反向索引倒排索引即把“文档→单词”的形式变为“单词→文档”的形式。倒排索引具体机构如下:原数据id文档1Apache Tomcat Servlet/JSP container2Tomcat run3JSP run in Tomcat倒排索引id单词文档id1Apache12Tomcat1,2,33Servlet14JSP1,35container16run2,37in39 高亮显示highlight表示高亮显示需要在fields中配置哪些字段中检索到该内容需要高亮显示必须配合match/multi_match一起使用GET product/_search { query : { multi_match: { query: 蓝牙双卡指纹, fields: [title, intro] } }, highlight: { fields: { title: {}, intro: {} }, pre_tags: span style\color: red\, post_tags: /span } }10 其他# 指定查询 GET product/_search { query: { term: { price: [15299, 5299] } } } # 范围查询 GET product/_search { query: { range: { price: { gte: 6000, lte: 9000 } } } } # 排序 GET product/_search { query: { range: { price: { gte: 6000, lte: 9000 } } }, sort: [ { price: { order: asc } } ] } # 高级条件搜索 GET product/_search { query: { bool: { must: [ { multi_match: { query: 蓝牙双卡指纹, fields: [title, intro] } }, { range: { price: { gte: 6000, lte: 9000 } } } ] } } }三、ElasticSearch 集成 Spring Boot1 基础配置导入依赖parentgroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-parent/artifactIdversion2.4.3/versionrelativePath//parentdependenciesdependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-data-elasticsearch/artifactId/dependencydependencygroupIdorg.projectlombok/groupIdartifactIdlombok/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-test/artifactIdscopetest/scope/dependency/dependencies配置文件spring:elasticsearch:rest:uris:http://localhost:92002 基础 CRUD编写实体类DataAllArgsConstructorNoArgsConstructorDocument(indexNameproduct)publicclassProduct{IdprivateLongid;privateIntegerprice;Field(analyzerik_smart,searchAnalyzerik_smart,typeFieldType.Text)privateStringtitle;Field(analyzerik_smart,searchAnalyzerik_smart,typeFieldType.Text)privateStringintro;Field(typeFieldType.Keyword)privateStringbrand;}repository 接口// 继承 ElasticsearchRepository 接口泛型为你要查询的实体类和 id 的数据类型publicinterfaceProductRepositoryextendsElasticsearchRepositoryProduct,Long{}单元测试SpringBootTestSlf4jclassProductRepositoryTest{AutowiredprivateProductRepositoryrepository;Testvoidone(){OptionalProductoptionalrepository.findById(1L);if(optional.isPresent()){Productproductoptional.get();log.info(得到结果{},product);}}Testvoidlist(){IterableProductallrepository.findAll();all.forEach(p-log.info(得到结果{},p));}Testvoidinsert(){ProductproductnewProduct();product.setId(101L);product.setPrice(1001);product.setTitle(浪兎兎红烧兔头);product.setIntro(红烧兔头香而不腻);product.setBrand(浪兎兎);repository.save(product);}Testvoiddelete(){repository.deleteById(101L);}}3 派生查询关键词示例方法名生成的 Elasticsearch 查询逻辑简述AndfindByNameAndPricebool查询中的must条件OrfindByNameOrPricebool查询中的should条件Is,EqualsfindByName,findByNameIsmatch或term查询NotfindByNameNotbool查询中的must_not条件BetweenfindByPriceBetweenrange查询LessThanfindByPriceLessThanrange查询上限GreaterThanfindByPriceGreaterThanrange查询下限StartingWithfindByNameStartingWithquery_string或前缀查询EndingWithfindByNameEndingWithquery_string或通配符查询ContainingfindByNameContainingquery_string或通配符查询包含InfindByNameIn(Collection)terms查询用于匹配多个值Exists/IsNotNullfindByNameExistsexists查询IsNullfindByNameIsNullmust_not和exists组合查询OrderByfindByNameOrderByPriceDesc添加sort排序条件IgnoreCasefindByNameIgnoreCase对特定属性启用大小写不敏感匹配4 全局搜索首先要使用NativeSearchQueryBuilder构建查询条件然后使用ElasticsearchRestTemplate查询。AutowiredprivateElasticsearchRestTemplaterestTemplate;// 查询带有 游戏 手机 字样的TestvoidselectKeyword(){NativeSearchQueryBuilderbuildernewNativeSearchQueryBuilder();builder.withQuery(QueryBuilders.matchQuery(title,游戏手机));SearchHitsProducthitsrestTemplate.search(builder.build(),Product.class);log.info(总数量: {},hits.getTotalHits());hits.getSearchHits().forEach(p-log.info(结果集: {},p.getContent()));}高亮查询TestvoidselectShould(){NativeSearchQueryBuilderbuildernewNativeSearchQueryBuilder();// 构造高亮字段HighlightBuilder.FieldtitleHighlightnewHighlightBuilder.Field(title).preTags(span style\color: red\).postTags(/span);HighlightBuilder.FieldintroHighlightnewHighlightBuilder.Field(intro).preTags(span style\color: red\).postTags(/span);// 构造查询条件builder.withQuery(QueryBuilders.boolQuery().should(QueryBuilders.rangeQuery(price).gte(5000).lte(10000)).should(QueryBuilders.multiMatchQuery(pro,title,intro))).withSort(SortBuilders.fieldSort(price).order(SortOrder.DESC)).withHighlightFields(titleHighlight,introHighlight);// 查询并输出结果SearchHitsProducthitsrestTemplate.search(builder.build(),Product.class);log.info(总数量: {},hits.getTotalHits());hits.getSearchHits().forEach(p-{MapString,ListStringhighlightFieldsp.getHighlightFields();for(Stringkey:highlightFields.keySet()){ListStringvaluehighlightFields.get(key);// 内省机制修改字段try{PropertyDescriptor[]propertyDescriptorsIntrospector.getBeanInfo(Product.class).getPropertyDescriptors();for(PropertyDescriptorpd:propertyDescriptors){if(key.equals(pd.getName()))pd.getWriteMethod().invoke(p.getContent(),value.get(0));}}catch(Exceptione){e.printStackTrace();}}log.info(结果集: {},p.getContent());});}