SpringCloud（十）——ElasticSearch简单了解（二）DSL查询语句及RestClient查询文档

文章目录

  • 1. DSL查询文档
    • 1.1 DSL查询分类
    • 1.2 全文检索查询
    • 1.3 精确查询
    • 1.4 地理查询
    • 1.5 查询算分
    • 1.6 布尔查询
    • 1.7 结果排序
    • 1.8 分页查询
    • 1.9 高亮显示
  • 2. RestClient查询文档
    • 2.1 查询全部
    • 2.2 其他查询语句
    • 2.3 排序和分页
    • 2.4 高亮显示

1. DSL查询文档

1.1 DSL查询分类

  • 查询所有：查询出所有数据，一般测试用。例如：match_all
  • 全文检索查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：
    • match_query
    • multi_match_query
  • 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：
    • ids
    • range
    • term
  • 地理查询：根据经纬度查询。例如：
    • geo_distance
    • geo_bounding_box
  • 复合查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
    • bool
    • function_score

下面我们以一个基本的查询语句来举例，比如，我们需要查询索引库 hotel 全部内容，使用的DSL语句如下：

GET /hotel/_search
{"query": {"match_all": {}}
}

1.2 全文检索查询

全文检索常用的有两个查询函数，分别是 match 以及 multi_match 。

  • match 函数会对用户输入内容分词，然后去倒排索引库检索，语法如下：
    GET /indexName/_search
{"query": {"match": {"FIELD": "TEXT"}}
}
    比如搜索 hotel 索引库中的 name 字段，如下：
    GET /hotel/_search
{"query": {"match": {"name": "酒店"}}
}
  • multi_match 函数与 match 类似，不过允许查询多个字段，语法如下：
    GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["FIELD1", " FIELD2"]}}
}
    比如搜索 hotel 索引库中的 name 字段，如下：
    GET /hotel/_search
{"query": {"multi_match": {"query": "如家","fields": ["name", " brand"]}}
}

1.3 精确查询

精确查询的语句函数主要有 term 语句和 range 语句，精确查询必须要查询的内容与字段里面的所有内容完全匹配才行，一般的查询是keyword、数值、日期、boolean等类型字段。

  • term 的语法如下：
    GET /indexName/_search
{"query": {"term": {"FIELD": {"value": "VALUE"}}}
}
  • range 查询的语法如下：
    GET /indexName/_search
{"query": {"range": {"FIELD": {"gte": 10,"lte": 20}}}
}
    其中 gt 是大于，lt 是小于，gte 是大于等于，lte 是小于等于。

1.4 地理查询

地理查询主要是根据经纬度来进行查询的，主要使用的函数有 geo_bounding_box 和 geo_distance 。

  • geo_bounding_box 函数的语法如下：
    GET /indexName/_search
{"query": {"geo_bounding_box": {"FIELD": {"top_left": {"lat": 31.1,"lon": 121.5},"bottom_right": {"lat": 30.9,"lon": 121.7}}}}
}
    该函数能够将在一个矩阵框中的经纬度全部筛选出来，该矩阵的左上角的点以及右下角的点如上述定义所示，根据这两个点已经就能够定义一个矩形了，。
  • geo_distance 函数的语法如下：
    GET /indexName/_search
{"query": {"geo_distance": {"distance": "15km","FIELD": "31.21,121.5"}}
}
    该函数是筛选距离定义经纬度点指定距离内的所有点，这个距离指的是距定义点方圆的距离。

1.5 查询算分

在使用关键词等进行查询的时候，会有一个 _score 属性，这就是每条数据与查询关键词的相关性分数，该分数在ElasticSearch5.0之前是使用的 TF-IDF 算法进行的评分，ElasticSearch5.0之后是使用的 BM25 算法进行评分。
在这里插入图片描述
我们可以使用 function score query，修改文档的相关性算分（query score），根据新得到的算分排序。修改算分的示例语句如下：

GET /hotel/_search
{"query": {"function_score": {"query": { "match": {"all": "外滩"} },"functions": [{"filter": {"term": {"id": "1"}},"weight": 10}],"boost_mode": "multiply"}}
}

在上面的例句中，

  • query 是正常的查询语句
  • filter 表示过滤条件，符合条件的文档才会被重新算分
  • weight 是指算分函数，算分函数的结果称为 function score ，将来会与原始的 query score 运算，得到新算分，常见的算分函数有：
    • weight：给一个常量值，作为函数结果（function score）
    • field_value_factor：用文档中的某个字段值作为函数结果
    • random_score：随机生成一个值，作为函数结果
    • script_score：自定义计算公式，公式结果作为函数结果
  • boost_mode 定义function score与query score的运算方式，常见的加权方式如下：
    • multiply：两者相乘。默认就是这个
    • replace：用function score 替换 query score
    • 其它：sum、avg、max、min

1.6 布尔查询

布尔查询时一个或多个查询的字句，子查询的组合方式有：

  • must：必须匹配每个子查询，类似“与”
  • should：选择性匹配子查询，类似“或”
  • must_not：必须不匹配，不参与算分，类似“非”
  • filter：必须匹配，不参与算分

示例如下：

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海" }}],"should": [{"term": {"brand": "皇冠假日" }},{"term": {"brand": "华美达" }}],"must_not": [{ "range": { "price": { "lte": 500 } }}],"filter": [{ "range": {"score": { "gte": 45 } }}]}}
}

1.7 结果排序

elasticsearch支持对搜索结果排序，默认是根据相关度算分（_score）来排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"FIELD": "desc"  // 排序字段和排序方式ASC、DESC}]
}

以上就是指定字段的排序， ASC 代表升序，DASC 代表降序，如果有多个排序字段，那么按照从上到下的优先级进行排序。

举个例子，如果我们想要按照某一个经纬度的距离进行排序，那么模板如下：

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"FIELD" : "纬度，经度","order" : "asc","unit" : "km"}}]
}

1.8 分页查询

ElasticSearch查询时默认只显示10条数据，那如果我们想要看到其他的数据怎么办呢？这就涉及到了分页。ElasticSearch分页的方式有很多种，这里讲一下使用 from, size 参数以及 search after 来进行分页。

  • 使用 from, size 两个参数进行分页。可以在搜索时规定这两个参数的值， from 表示从何处开始进行查看，默认是 0 0 0 ，size 表示每次查询的信息有多少条。比如每也10条数据，我们想要查看第二页的数据，那么就需要设置 from: 10,size:10 ，格式如下：

    GET /hotel/_search
{"query": {"match_all": {}},"from": 990, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

    但是，这种方式要求 from+size 不大于 10000 10000 10000 ，且该方式是先查询所有的数据，然后再对数据进行截取，不可避免的，该方式会面临深度分页问题，即我们的ElasticSearch肯定是要有集群的，当我们需要取出前 1000 1000 1000 个结果时，需要整理每个集群中的结果，再重新排序，再选出前 1000 1000 1000 个，但是，如果结果集很大，这对内存以及CPU的消耗就很大。

  • 使用 search after 进行分页。针对深度分页，ElasticSearch提供了 search after 方法，该方法没有查询上限，只限制了单次的 size 不超过 10000 10000 10000 。 search after 方法分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。

    例如，我们查询到了第一页的数据，最后一条数据如下：
    在这里插入图片描述
    我们将最后一条数据的 sort 字段复制到 search_after 中，再规定一个 size 属性，就能够在该条数据之后再显示 size 条数据，语法模板如下：

    GET /hotel/_search
{"query": {"match_all": {}},"search_after": [161],"size": 10,"sort": [{"price": "asc"}]
}

1.9 高亮显示

在使用搜索引擎进行搜索时，我们发现我们输入的关键词显示都是用了高亮进行显示，这就是搜索结果的高亮。其实，这种高亮的显示是在搜索结果中将关键字用标签进行标注出来，再到页面中进行CSS的渲染。默认在进行高亮查询时会在高亮字段前后添加 em 标签，如果想添加其他标签可以进行更改，语法模板如下：

GET /hotel/_search
{"query": {"match": {"FIELD": "TEXT"}},"highlight": {"fields": { // 指定要高亮的字段,可以添加多个字段"FIELD": {"pre_tags": "<em>",  // 用来标记高亮字段的前置标签，默认就是em标签，所以可以不写"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

这里我们对酒店数据进行查询的例子如下：

GET /hotel/_search
{"query": {"match": {"all": "如家"}},"highlight": {"fields": { "name": {"require_field_match": "false"}}}
}

在上面的搜索中， all 字段是 name, brand 等字段 copy_to 后的属性，而下面高亮显示的属性是 name 属性，这就导致了查询的属性与高亮显示的属性不一致的情况，这种情况默认是不会进行高亮显示的，需要查询的属性与高亮显示的属性一致才进行高亮显示。但是我们就可以设置 require_field_match 属性为 false 控制高亮显示与查询字段和高亮显示的字段无关。

高亮结果显示如下：
在这里插入图片描述

2. RestClient查询文档

2.1 查询全部

查询全部的代码如下所示，

    @Testvoid testMatchAll() throws IOException {//1.准备Request对象SearchRequest request = new SearchRequest("hotel");//2.准备DSLrequest.source().query(QueryBuilders.matchAllQuery());//3.发送请求SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);//4.解析响应SearchHits searchHits = response.getHits();//5.1 获取总条数long total = searchHits.getTotalHits().value;System.out.println("共有" + total + "条数据");//5.2 文档数组存储文档SearchHit[] hits = searchHits.getHits();for(SearchHit hit: hits){//6.获取文档sourceString json = hit.getSourceAsString();//7.反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}System.out.println(response);}

其中每一段代码与DSL语句的对应关系如下：
在这里插入图片描述

2.2 其他查询语句

其实其他查询语句与上述查询全部的语句中大部分代码是类似的，唯一变化的是 request.source().query() 中 query 的参数。

  • match
    // 分别是字段名和查询的语句
request.source().query(QueryBuilders.matchQuery("all", "如家"));
  • multi_match
    // 分别是查询词以及查询字段
request.source().query(QueryBuilders.matchQuery("如家", "name", "brand"));
  • term
    // 分别是查询字段以及查询词
request.source().query(QueryBuilders.termQuery("city", "成都"));
  • range
    // 分别是查询词以及查询条件
request.source().query(QueryBuilders.rangeQuery("price").gte(100).lte(300));
  • 布尔查询
    // 构建布尔查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
// must语句
boolQuery.must(QueryBuilders.termQuery("city", "成都"));
//filter语句
boolQuery.filter(QueryBuilders.rangeQuery("price").gte(100).lte(300))
request.source().query(boolQuery);

2.3 排序和分页

排序与分页的代码也仅需要在 request.source().query() 上进行修改即可，修改示例如下：

request.source().query(QueryBuilders.termQuery("city", "成都"));
// 排序
request.source().sort("price", SortOrder.ASC);
//分页
request.source().from(0).size(10);

2.4 高亮显示

高亮显示仅需要在查询的内容后面添加一行代码即可，如下：

// 设置高亮显示并关闭查询字段与高亮字段一致
request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));

但是，设置了高亮后输出发现并不是高亮的内容，需要高亮的内容前后没有标签，这是怎么回事呢？

回顾上面可以发现，高亮的内容与 _source 内容是分开的，是重新的一个字段，于是，我们需要用高亮的字段覆盖原来的字段，那么循环里面的代码如下：

for(SearchHit hit: hits){//6.获取文档sourceString json = hit.getSourceAsString();//7.反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);//获取高亮结果Map<String, HighlightField> highlightFieldMap = hit.getHighlightFields();//简洁判断，判断highlightFieldMap是否为空或者size==0if(!CollectionUtils.isEmpty(highlightFieldMap)){//获取highlight属性中的name属性HighlightField highlightField = highlightFieldMap.get("name");if(highlightField != null){//得到name属性的第一个值的字符串String name = highlightField.getFragments()[0].string();//覆盖原本的值hotelDoc.setName(name);}}System.out.println(hotelDoc);
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/95972.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用Windbg动态调试排查软件启动不了的问题

使用Windbg动态调试排查软件启动不了的问题

目录 1、问题说明 2、初步分析 3、使用Windbg启动程序进行动态调试 4、进一步分析 5、何时使用Windbg静态分析&#xff1f;何时使用Windbg进行动态调试&#xff1f; 6、最后 VC常用功能开发汇总&#xff08;专栏文章列表&#xff0c;欢迎订阅&#xff0c;持续更新...&…
阅读更多...
14：00面试，14：08就出来了，问的问题有点变态

14：00面试，14：08就出来了，问的问题有点变态

从小厂出来&#xff0c;没想到在另一家公司又寄了。 到这家公司开始上班&#xff0c;加班是每天必不可少的&#xff0c;看在钱给的比较多的份上&#xff0c;就不太计较了。没想到8月一纸通知&#xff0c;所有人不准加班&#xff0c;加班费不仅没有了&#xff0c;薪资还要降40%,…
阅读更多...
Kubernetes可视化管理工具Kuboard部署使用及k8s常用命令梳理记录

Kubernetes可视化管理工具Kuboard部署使用及k8s常用命令梳理记录

温故知新 &#x1f4da;第一章 前言&#x1f4d7;背景&#x1f4d7;目的&#x1f4d7;总体方向 &#x1f4da;第二章 安装 Kubernetes 多集群管理工具 - Kuboard v3&#x1f4d7;部署方式&#x1f4d7;通过Kuboard v3 - Kubernetes安装&#xff08;在master节点执行)&#x1f4…
阅读更多...
SpringBoot复习：（60）文件上传的自动配置类MultipartAutoConfiguration

SpringBoot复习：（60）文件上传的自动配置类MultipartAutoConfiguration

可以看到&#xff0c;定义了一个类型为StandartServletMultipartResolver的bean 用来进行文件上传&#xff0c;定义了一个类型为MultipartConfigElement的bean用来进行上传相关的配置&#xff0c;其中使用了MultipartProperties中的属性&#xff0c;这个类的定义如下&#xff1…
阅读更多...
vue+element-ui el-table组件二次封装实现虚拟滚动，解决数据量大渲染DOM过多而卡顿问题

vue+element-ui el-table组件二次封装实现虚拟滚动，解决数据量大渲染DOM过多而卡顿问题

一、此功能已集成到TTable组件中 二、最终效果 三、需求 某些页面不做分页时&#xff0c;当数据过多&#xff0c;会导致页面卡顿&#xff0c;甚至卡死 四、虚拟滚动 一、固定一个可视区域的大小并且其大小是不变的&#xff0c;那么要做到性能最大化就需要尽量少地渲染 DOM 元素…
阅读更多...
梯度下降算法入门

梯度下降算法入门

提到梯度下降我们知道梯度下降算法是很多机器学习算法、深度学习算法的基础。 首先我们需要明确一些概念什么是梯度&#xff1a; 梯度的本意是一个向量&#xff08;矢量&#xff09;&#xff0c;表示某一函数在该点处的方向导数沿着该方向取得最大值&#xff0c;即函数在该点处…
阅读更多...
软件测试/测试开发丨Python 内置库 正则表达式

软件测试/测试开发丨Python 内置库 正则表达式

点此获取更多相关资料 本文为霍格沃兹测试开发学社学员学习笔记分享 原文链接&#xff1a;https://ceshiren.com/t/topic/27058 python 内置库 正则表达式 目录 正则表达式使用re模块实现正则表达式操作 正则表达式 正则表达式就是记录文本规则的代码可以查找操作符合某些复…
阅读更多...
HBuilderX修改manifest.json设置，解决跨域问题（CORS、Cross-Origin）

HBuilderX修改manifest.json设置，解决跨域问题（CORS、Cross-Origin）

搭建一个前台uniapp&#xff0c;后台springboot的开发环境时&#xff0c;遇到了跨域问题。 console提示错误信息&#xff1a; Access to XMLHttpRequest at http://10.0.180.203/api/cms/getAdList?apId1 from origin http://localhost:8080 has been blocked by CORS policy…
阅读更多...
ROS-5.自定义topic消息格式

ROS-5.自定义topic消息格式

自定义topic消息格式 1. 定义消息1.1. 定义msg文件1.2. 在package.xml中添加功能包依赖1.3. 在CMakeList.txt添加编译选项1.4. 编译 2.定义发布者和订阅者2.1 定义发布者2.2. 定义订阅者2.3. 修改CMakeList.txt2.4 编译 3. 使用消息3.1 启动ros主程序3.2. 启动发布者3.3 启动订…
阅读更多...
如何制作并运行 jar 程序

如何制作并运行 jar 程序

以下是用 Intellij 制作 jar 程序&#xff0c;并运行的方法。 【1】新建工程&#xff0c;保持默认选项&#xff0c;Next 【2】保持默认选项&#xff0c;Next 【3】给工程命名&#xff0c;设置保存位置&#xff0c;Finish 【4】新建工程结束&#xff0c;进入开发界面 【5】展开…
阅读更多...
ArcGIS将两个相同范围但不同比例或位置的矢量数据移动到相同位置

ArcGIS将两个相同范围但不同比例或位置的矢量数据移动到相同位置

有两个市图层&#xff0c;一个是正确经纬度的市行政范围图层&#xff0c;另一个是其他软件导出获取的不正确经纬度信息或缺失信息。 如果单纯的依靠移动图层&#xff0c;使不正确的移动到正确位置需要很久。尝试定义投影等也不能解决。 使用ArcMap 的空间校正工具条&#xff…
阅读更多...
nnUNet v2数据准备及格式转换 （二）

nnUNet v2数据准备及格式转换 （二）

如果你曾经使用过nnUNet V1&#xff0c;那你一定明白数据集的命名是有严格要求的&#xff0c;必须按照特定的格式来进行命名才能正常使用。 这一节的学习需要有数据&#xff0c;如果你有自己的数据&#xff0c;可以拿自己的数据来实验&#xff0c;如果没有&#xff0c;可以用十…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023