elasticsearch篇：RestClient操作

1. RestClient

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址：Elasticsearch Clients | Elastic

其中的Java Rest Client又包括两种：

  • Java Low Level Rest Client

  • Java High Level Rest Client

1.1.创建一个项目

项目结构如下：

                        

1.2. mapping映射

创建索引库，最关键的是mapping映射，而mapping映射要考虑的信息包括：

  • 字段名

  • 字段数据类型

  • 是否参与搜索

  • 是否需要分词

  • 如果分词，分词器是什么？

其中：

  • 字段名、字段数据类型，可以参考数据表结构的名称和类型

  • 是否参与搜索要分析业务来判断，例如图片地址，就无需参与搜索

  • 是否分词呢要看内容，内容如果是一个整体就无需分词，反之则要分词

  • 分词器，我们可以统一使用ik_max_word

来看下酒店数据的索引库结构:

PUT /hotel
{"mappings": {"properties": {"id": {"type": "keyword"},"name":{"type": "text","analyzer": "ik_max_word","copy_to": "all"},"address":{"type": "keyword","index": false},"price":{"type": "integer"},"score":{"type": "integer"},"brand":{"type": "keyword","copy_to": "all"},"city":{"type": "keyword","copy_to": "all"},"starName":{"type": "keyword"},"business":{"type": "keyword"},"location":{"type": "geo_point"},"pic":{"type": "keyword","index": false},"all":{"type": "text","analyzer": "ik_max_word"}}}
}

几个特殊字段说明：

  • location：地理坐标，里面包含精度、纬度

  • all：一个组合字段，其目的是将多字段的值 利用copy_to合并，提供给用户搜索

地理坐标说明：

              

copy_to说明：

                

1.3. 初始化RestClient

在elasticsearch提供的API中，与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接。

分为三步：

1.3.1. 引入es的RestHighLevelClient依赖：

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

1.3.2. 因为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本

<properties><java.version>1.8</java.version><elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

1.3.3. 初始化RestHgihLevelClient:

代码如下：

public class HotelIndexTest {private RestHighLevelClient client;@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.150.101:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();}
}

2. RestClient操作索引

2.1. 创建索引库

创建索引库的API如下：

        

代码分为三步：

  • 1）创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。

  • 2）添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。

  • 3）发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。

完整示例：

在hotel-demo的cn.itcast.hotel.constants包下，创建一个类，定义mapping映射的JSON字符串常量：

public class HotelConstants {public static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\": {\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"address\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"score\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"city\":{\n" +"        \"type\": \"keyword\",\n" +"        \"copy_to\": \"all\"\n" +"      },\n" +"      \"starName\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"business\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"location\":{\n" +"        \"type\": \"geo_point\"\n" +"      },\n" +"      \"pic\":{\n" +"        \"type\": \"keyword\",\n" +"        \"index\": false\n" +"      },\n" +"      \"all\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_max_word\"\n" +"      }\n" +"    }\n" +"  }\n" +"}";
}

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现创建索引：

@Test
void testCreateHotelIndex() throws IOException{//1.创建request对象CreateIndexRequest request = new CreateIndexRequest("hotel");//2.准备请求的参数：DSL语句request.source(MAPPING_TEMPLATE,XContentType.JSON);//3.发送请求client.indices().create(request,RequestOptions.DEFAULT);
}

2.2. 删除索引库

删除索引库的DSL语句非常简单：

xxxxxxxxxx DELETE /hotel

与创建索引库相比：

  • 请求方式从PUT变为DELTE

  • 请求路径不变

  • 无请求参数

所以代码的差异，注意体现在Request对象上。依然是三步走：

  • 1）创建Request对象。这次是DeleteIndexRequest对象

  • 2）准备参数。这里是无参

  • 3）发送请求。改用delete方法

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现删除索引：

@Test
void DeleteHotelIndex() throws IOException{//1.创建request对象DeleteIndexRequest request = new DeleteIndexRequest("hotel");//2.发送请求client.indices().delete(request,RequestOptions.DEFAULT);
}

2.3. 判断索引库是否存在

本质就是查询，对应的DSL语句是：

GET /hotel

因此与删除的Java代码流程是类似的。依然是三步走：

  • 1）创建Request对象。这次是GetIndexRequest对象

  • 2）准备参数。这里是无参

  • 3）发送请求。改用exists方法

@Test
void testExistsIndex() throws IOException{//1.创建request对象GetIndexRequest request = new GetIndexRequest("hotel");//2.发起请求boolean exists = client.indices().exists(request,RequestOptions.DEFAULT);//3.输出System.out.println(exists ? "hotel索引存在" : "hotel索引不存在");
}

2.4. 总结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤：

  • 初始化RestHighLevelClient

  • 创建XxxIndexRequest。XXX是Create、Get、Delete

  • 准备DSL（ Create时需要，其它是无参）

  • 发送请求。调用RestHighLevelClient#indices().xxx()方法，xxx是create、exists、delete

3. RestClient操作文档

3.1. 新增文档

我们要将数据库的酒店数据查询出来，写入elasticsearch中。

3.1.1. 索引库实体类

数据库查询后的结果是一个Hotel类型的对象，结构如下：

@Data
@TableName("tb_hotel")
public class Hotel {@TableId(type = IdType.INPUT)private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String longitude;private String latitude;private String pic;
}

与我们的索引库结构存在差异：

  • longitude和latitude需要合并为location

因此，我们需要定义一个新的类型，与索引库结构吻合：

@Data
@NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();this.location = hotel.getLatitude() + ", " + hotel.getLongitude();this.pic = hotel.getPic();}
}

3.1.2. 语法说明

新增文档的DSL语句如下：

POST /{索引库名}/_doc/1
{"name": "Jack","age": 21
}

对应的java代码如图：

可以看到与创建索引库类似，同样是三步走：

  • 1）创建Request对象

  • 2）准备请求参数，也就是DSL中的JSON文档

  • 3）发送请求

变化的地方在于，这里直接使用client.xxx()的API，不再需要client.indices()了。

3.1.3. 完整代码

我们导入酒店数据，基本流程一致，但是需要考虑几点变化：

  • 酒店数据来自于数据库，我们需要先查询出来，得到hotel对象

  • hotel对象需要转为HotelDoc对象

  • HotelDoc需要序列化为json格式

因此，代码整体步骤如下：

  • 1）根据id查询酒店数据Hotel

  • 2）将Hotel封装为HotelDoc

  • 3）将HotelDoc序列化为JSON

  • 4）创建IndexRequest，指定索引库名和id

  • 5）准备请求参数，也就是JSON文档

  • 6）发送请求

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testAddDocument() throws IOException{//1.根据id查询酒店数据Hotel hotel = hotelservice.getById(61803L);//2.把Hotel类型的转成HotelDoc类型HotelDoc hoteldoc = new HotelDoc(hotel);//3.将HotelDoc转为jsonString json = JSON.toJSONString(hotelDoc);//1.准备request对象IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());//2.准备JSON文档request.source(json,XContentType.JSON);//3.发送请求client.index(request,RequestOptions.DEFAULT);
}

3.2. 查询文档

3.2.1. 语法说明

查询的DSL语句如下：

GET /hotel/_doc/{id}

非常简单，因此代码大概分两步：

  • 准备Request对象

  • 发送请求

不过查询的目的是得到结果，解析为HotelDoc，因此难点是结果的解析。完整代码如下：

可以看到，结果是一个JSON，其中文档放在一个_source属性中，因此解析就是拿到_source，反序列化为Java对象即可。

与之前类似，也是三步走：

  • 1）准备Request对象。这次是查询，所以是GetRequest

  • 2）发送请求，得到结果。因为是查询，这里调用client.get()方法

  • 3）解析结果，就是对JSON做反序列化

3.2.2 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testGetDocument() throws IOException{//1.创建request对象GetRequest request = new GetRequest("hotel","61803");//2.发送请求，得到响应GetResponse response = client.get(request,RequestOptions.DEFAULT);//3.解析响应结果String json = response.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json,HotelDoc.class);System.out.println(hotelDoc);
}

3.3. 删除文档

删除的DSL为是这样的：

DELETE /hotel/_doc/{id}

与查询相比，仅仅是请求方式从DELETE变成GET，可以想象Java代码应该依然是三步走：

  • 1）准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id

  • 2）准备参数，无参

  • 3）发送请求。因为是删除，所以是client.delete()方法

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testDeleteDocument() throws IOException {// 1.准备RequestDeleteRequest request = new DeleteRequest("hotel", "61083");// 2.发送请求client.delete(request, RequestOptions.DEFAULT);
}

3.4. 修改文档

3.4.1. 语法说明

修改文档有两种方式：

1.全量修改：本质是根据id删除，然后进行新增

2.增量修改：修改文档中指定的字段的值

在RestClient的API中，全量修改与新增的API完全一致，判断依据是ID：

  • 如果新增时，ID已经存在，则修改

  • 如果新增时，ID不存在，则新增

这里不再赘述，我们主要关注增量修改。

代码示例如图：

与之前类似，也是三步走：

  • 1）准备Request对象。这次是修改，所以是UpdateRequest

  • 2）准备参数。也就是JSON文档，里面包含要修改的字段

  • 3）更新文档。这里调用client.update()方法

3.4.2. 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testUpdateDocument() throws IOException{//1.准备requestUpdateRequest request = new UpdateRequest("hotel","61083");//2.准备参数request.doc("price","699","starName", "四钻");//3.发起请求client.update(request,RequestOptions.DEFAULT);
}

3.5. 批量导入文档

案例需求：利用BulkRequest批量将数据库数据导入到索引库中。

步骤如下：

  • 利用mybatis-plus查询酒店数据

  • 将查询到的酒店数据（Hotel）转换为文档类型数据（HotelDoc）

  • 利用JavaRestClient中的BulkRequest批处理，实现批量新增文档

3.5.1.语法说明

批量处理BulkRequest，其本质就是将多个普通的CRUD请求组合在一起发送。

其中提供了一个add方法，用来添加其他请求：

可以看到，能添加的请求包括：

  • IndexRequest，也就是新增

  • UpdateRequest，也就是修改

  • DeleteRequest，也就是删除

因此Bulk中添加了多个IndexRequest，就是批量新增功能了。示例：

其实还是三步走：

  • 1）创建Request对象。这里是BulkRequest

  • 2）准备参数。批处理的参数，就是其它Request对象，这里就是多个IndexRequest

  • 3）发起请求。这里是批处理，调用的方法为client.bulk()方法

我们在导入酒店数据时，将上述代码改造成for循环处理即可。

3.5.2. 完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testBulkRequest() throws IOException{//批量查询数据List<Hotel> hotels = hotelservice.list();//1.创建requestBulkRequest request = new BulkRequest();//2.准备参数，添加多个新增的requestfor(Hotel hotel : hotels){//2.1 转换为HotelDoc文档类型HotelDoc hotelDoc = new HotelDoc(hotel);//2.2 创建新增文档的Request对象request.add(new IndexRequest("hotel").id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc),XContentType.JSON);
}//3.发起请求client.bulk(request,RequestOptions.DEFAULT);
}

3.6. 小结

文档操作的基本步骤：

  • 初始化RestHighLevelClient

  • 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk

  • 准备参数（Index、Update、Bulk时需要）

  • 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete、bulk

  • 解析结果（Get时需要）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/527747.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LVS集群 ----------------（直接路由 ）DR模式部署 （二）

LVS集群 ----------------（直接路由 ）DR模式部署 （二）

一、LVS集群的三种工作模式 lvs-nat&#xff1a;修改请求报文的目标IP,多目标IP的DNAT lvs-dr&#xff1a;操纵封装新的MAC地址&#xff08;直接路由&#xff09; lvs-tun&#xff1a;隧道模式 lvs-dr 是 LVS集群的 默认工作模式 NAT通过网络地址转换实现的虚拟服务器&…
阅读更多...
Linux--文件类型与权限

Linux--文件类型与权限

Linux上一切皆文件; 蓝色的是目录文件 Linux不以文件的扩展名来区分文件类型,而是在文件属性中有一列专门记录文件类型. ls -l 可以查看 普通文件:.c .cpp .h .txt .pdf .xls (-) 目录文件:文件夹 (d) 管道文件:用于进程间通信的一种文件 (p) 链接文件:相当于W…
阅读更多...
学习笔记。。。

学习笔记。。。

1.字符串的拼接 1.sprintf() 往字符串的前面或中间、后面拼接一个字符串。 2.strncpy()用来复制字符串的前n个字符 //dest为目标数组&#xff0c;src为源数组&#xff0c;n为要复制的字符个数 2.char* My_strncpy(char* dest, const char* src, int n) 3.char *strcat(ch…
阅读更多...
【研发管理】梳理研发部门的商业画布和常见问题

【研发管理】梳理研发部门的商业画布和常见问题

导读&#xff1a;基于商业画布应用到职能部门分析&#xff0c;从一个新的视角审视带来不一样的思考。本人以研发部门为例&#xff0c;梳理商业画布和常见问题&#xff0c;仅供参考。 目录 1、画布总览​编辑 2、沟通渠道问题 3、客户关系问题 4、核心资源问题 5、关键业务…
阅读更多...
linux操作系统虚拟机的环境配置

linux操作系统虚拟机的环境配置

目录 一、虚拟机安装&#xff08;类似硬件的安装&#xff09; &#xff08;1&#xff09;创建虚拟机 &#xff08;2&#xff09;创建虚拟机 二、IP和主机名称配置 1、设置VM上的IP 2、设置我们电脑上VMnet8的IP 3、设置虚拟机上的IP 主机名称映射 以下是设置主机名映射…
阅读更多...
Qt编程技巧总结篇（1）- 画图方面

Qt编程技巧总结篇（1）- 画图方面

文章目录 Qt编程技巧总结篇&#xff08;1&#xff09;鼠标左键显示坐标位置鼠标右键拖拽鼠标滚轮放大缩小 小结 Qt编程技巧总结篇&#xff08;1&#xff09; 看了许多的关于C的Qt编程blog&#xff0c;但总有点乱&#xff0c;现在抽出时间对其中关于画图的一些函数进行梳理&…
阅读更多...
嵌入式学习day34 网络

嵌入式学习day34 网络

TCP包头: 1.序号:发送端发送数据包的编号 2.确认号:已经确认接收到的数据的编号(只有当ACK为1时,确认号才有用) TCP为什么安全可靠: 1.在通信前建立三次握手连接 SYN SYNACK ACK 2.在通信过程中通过序列号和确认号保障数据传输的完整性 本次发送序列号:上次…
阅读更多...
Elasticsearch：使用 Streamlit、语义搜索和命名实体提取开发 Elastic Search 应用程序

Elasticsearch：使用 Streamlit、语义搜索和命名实体提取开发 Elastic Search 应用程序

作者&#xff1a;Camille Corti-Georgiou 介绍 一切都是一个搜索问题。 我在 Elastic 工作的第一周就听到有人说过这句话&#xff0c;从那时起&#xff0c;这句话就永久地印在了我的脑海中。 这篇博客的目的并不是我出色的同事对我所做的相关陈述进行分析&#xff0c;但我首先…
阅读更多...
Python错题集-8：AttributeError（找不到对应的对象的属性）

Python错题集-8：AttributeError（找不到对应的对象的属性）

1问题描述 AttributeError: AxesSubplot object has no attribute arc 2代码详情 import matplotlib.pyplot as plt# 创建一个新的图形和坐标轴 fig, ax plt.subplots()# 定义弧线的参数 center (0.5, 0.5) # 圆心坐标 (x, y) width 1.0 # 半径 height 0.5 # 半径 ang…
阅读更多...
怎么在学习强国网上发布文章，学习强国投稿发稿方法途径，附学习强国多少钱价格明细表

怎么在学习强国网上发布文章，学习强国投稿发稿方法途径，附学习强国多少钱价格明细表

学习强国是一款受用户欢迎的学习软件&#xff0c;许多人希望在其平台上发布自己的文章&#xff0c;以分享和传播自己的学习成果和心得体会。那么&#xff0c;怎么在学习强国网上发布文章呢&#xff1f;接下来&#xff0c;我们将介绍一些投稿发稿的方法和途径。 首先&#xff0c…
阅读更多...
Python使用lxml解析XML格式化数据

Python使用lxml解析XML格式化数据

Python使用lxml解析XML格式化数据 1. 效果图2. 源代码参考 方法一&#xff1a;无脑读取文件&#xff0c;遇到有关键词的行再去解析获取值 方法二&#xff1a;利用lxml等库&#xff0c;解析格式化数据&#xff0c;批量获取标签及其值 这篇博客介绍第2种办法&#xff0c;以菜鸟教…
阅读更多...
Vivado Repository IP Catalog 释疑

Vivado Repository IP Catalog 释疑

Vivado软件自带了一个IP核仓库&#xff0c;可以在IP Catalog界面查看。 在IP目录界面&#xff0c;依次给出了每个IP核的Name(名称)&#xff0c;Interface(接口)&#xff0c;State(状态)&#xff0c;License(许可证)和VLNV&#xff08;标识符&#xff09;。 Interface表示IP核的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023