在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）

前言

在这里插入图片描述
「作者主页」：雪碧有白泡泡
「个人网站」：雪碧的个人网站
「推荐专栏」：

★java一站式服务 ★
★ React从入门到精通★
★前端炫酷代码分享 ★
★ 从0到英雄，vue成神之路★
★ uniapp-从构建到提升★
★ 从0到英雄，vue成神之路★
★ 解决算法，一个专栏就够了★
★ 架构咱们从0说★
★ 数据流通的精妙之道★
★后端进阶之路★

请添加图片描述

文章目录

  • 前言
  • 聚合和分析
    • 执行聚合操作
      • 1. 使用Java API执行聚合操作
      • 2. 使用CURL命令执行聚合操作
    • 执行度量操作
      • 1. 使用Java API执行度量操作
      • 2. 使用CURL命令执行度量操作
    • 结论
  • 搜索性能优化
    • 使用缓存
    • 调整分片大小和数量
    • 使用搜索建议
    • 结论
  • 集群管理
    • 节点发现
    • 负载均衡
    • 故障转移
    • 结论
  • 安全性和访问控制
    • 访问控制
    • 加密
    • 身份验证
    • 结论
  • 应用程序集成
    • REST API
    • 客户端库
    • 结论

在这里插入图片描述

聚合和分析

在Elasticsearch中执行聚合和度量操作可以帮助我们对数据进行更深入的分析。本文将介绍如何使用聚合和度量来执行复杂的数据分析操作，例如计数、平均值、百分位数和分组等。

执行聚合操作

1. 使用Java API执行聚合操作

可以使用Java API执行各种聚合操作。以下是使用RestHighLevelClient对象执行名为my_index的索引中的terms聚合操作的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
TermsAggregationBuilder aggregation =AggregationBuilders.terms("by_age").field("age");
sourceBuilder.aggregation(aggregation);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchRequest对象和SearchSourceBuilder对象执行terms聚合操作，并按年龄字段分组。

2. 使用CURL命令执行聚合操作

也可以使用CURL命令执行各种聚合操作。以下是使用名为my_index的索引中的terms聚合操作检索所有文档的示例：

curl -XGET 'localhost:9200/my_index/_search?pretty' -H 'Content-Type: application/json' -d'
{"aggs" : {"by_age" : {"terms" : { "field" : "age" }}}
}
'

执行度量操作

1. 使用Java API执行度量操作

可以使用Java API执行各种度量操作。以下是使用RestHighLevelClient对象执行名为my_index的索引中的avg度量操作的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
AvgAggregationBuilder aggregation =AggregationBuilders.avg("avg_age").field("age");
sourceBuilder.aggregation(aggregation);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchRequest对象和SearchSourceBuilder对象执行avg度量操作，并返回年龄字段的平均值。

2. 使用CURL命令执行度量操作

也可以使用CURL命令执行各种度量操作。以下是使用名为my_index的索引中的avg度量操作检索所有文档的示例：

curl -XGET 'localhost:9200/my_index/_search?pretty' -H 'Content-Type: application/json' -d'
{"aggs" : {"avg_age" : {"avg" : { "field" : "age" }}}
}
'

结论

本文介绍了如何使用聚合和度量来执行复杂的数据分析操作，例如计数、平均值、百分位数和分组等。使用Java API或CURL命令都可以对Elasticsearch索引中的数据进行聚合和度量操作，以便更好地理解和分析数据。在实际应用中，需要根据具体需求选择合适的聚合和度量操作来使用。

搜索性能优化

优化Elasticsearch的搜索性能是应用程序中非常重要的一部分。本文将介绍如何使用缓存、调整分片大小和数量，以及使用搜索建议等方式来优化Elasticsearch的搜索性能。

使用缓存

Elasticsearch中有两种类型的缓存：查询缓存和过滤器缓存。查询缓存为相同的查询结果提供快速的响应，而过滤器缓存则会缓存过滤器结果，以便在后续搜索中快速使用。以下是使用Java API启用过滤器缓存的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(QueryBuilders.termQuery("age", 30));
sourceBuilder.postFilter(QueryBuilders.termQuery("city", "New York"));
sourceBuilder.size(0);
sourceBuilder.aggregation(AggregationBuilders.avg("avg_age").field("age"));
sourceBuilder.aggregation(AggregationBuilders.terms("by_city").field("city"));
sourceBuilder.profile(true);
sourceBuilder.cache(true);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchSourceBuilder对象启用了过滤器缓存。

调整分片大小和数量

分片是Elasticsearch中数据的基本单元，并且将数据划分为多个分片可以使Elasticsearch更好地处理大型数据集。但是，如果分片过大或过小，都会影响搜索性能。以下是使用Java API设置索引分片数和备份数的代码示例：

CreateIndexRequest request = new CreateIndexRequest("my_index");
request.settings(Settings.builder().put("index.number_of_shards", 5).put("index.number_of_replicas", 1));

以上代码使用CreateIndexRequest对象设置名为my_index的索引的分片数为5，备份数为1。

使用搜索建议

搜索建议是Elasticsearch中一种重要的搜索优化技术。它可以在用户输入搜索查询时提供自动完成、拼写检查和相关性建议等功能。以下是使用Java API添加基于文本的完整推荐搜索建议的代码示例：

SearchRequest request = new SearchRequest("my_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
SuggestionBuilder termSuggestionBuilder =SuggestBuilders.termSuggestion("name").text("jonh");
SuggestBuilder suggestBuilder = new SuggestBuilder();
suggestBuilder.addSuggestion("suggest_name", termSuggestionBuilder);
sourceBuilder.suggest(suggestBuilder);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);

以上代码使用SearchSourceBuilder对象添加了一个基于文本的完整推荐搜索建议。

结论

本文介绍了如何使用缓存、调整分片大小和数量以及使用搜索建议等方法来优化Elasticsearch的搜索性能。使用这些技术可以提高搜索响应速度，并增强用户体验。在实际应用中，需要根据具体的搜索需求来选择合适的优化方式。

集群管理

配置和管理Elasticsearch集群是使大规模Elasticsearch应用程序成功运行的关键。本文将介绍如何进行节点发现、负载均衡和故障转移等操作来配置和管理Elasticsearch集群。

节点发现

节点发现是Elasticsearch中一个重要的概念，它允许新节点加入到已有的Elasticsearch集群中。以下是使用Java API启用节点发现功能的代码示例：

Settings settings = Settings.builder().put("discovery.seed_hosts", "host1:9300,host2:9300").put("cluster.name", "my_cluster_name").build();
TransportClient client = new PreBuiltTransportClient(settings);

以上代码使用Settings对象启用了节点发现功能，并将节点列表设置为host1和host2。

负载均衡

负载均衡是在分布式系统中非常重要的一部分，它可以确保系统中所有节点都平均地承载负载。以下是使用Java API添加负载均衡功能的代码示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")).setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.addInterceptorLast(new ElasticsearchInterceptor())));

以上代码使用RestClient对象添加了一个名为ElasticsearchInterceptor的拦截器来实现负载均衡。

故障转移

故障转移是在Elasticsearch集群中必须考虑的问题。当某个节点发生故障时，需要立即采取行动将其替换为另一个节点。以下是使用Java API添加自动故障转移功能的代码示例：

Settings settings = Settings.builder().put("cluster.routing.allocation.enable", "all").put("cluster.routing.allocation.node_initial_primaries_recoveries", 20).put("cluster.routing.allocation.node_concurrent_recoveries", 2).put("indices.recovery.max_bytes_per_sec", "50mb").build();

以上代码启用了自动故障转移功能，并设置了一些相关参数，例如索引恢复速度和并发恢复数等。

结论

本文介绍了如何进行节点发现、负载均衡和故障转移等操作来配置和管理Elasticsearch集群。这些技术可以使Elasticsearch应用程序更稳定、可靠和高效。在实际应用中，需要选择合适的配置选项和管理方案来满足具体需求。

安全性和访问控制

保护Elasticsearch集群和数据是任何生产环境下应用程序的必要条件之一。本文将介绍如何使用访问控制、加密和身份验证等技术来提高Elasticsearch的安全性。

访问控制

访问控制是Elasticsearch中一个非常重要的概念，它可以确保只有经过授权的用户才能够访问Elasticsearch集群和数据。以下是使用Java API添加基于用户名/密码的访问控制的代码示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")).setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setDefaultCredentialsProvider(new BasicCredentialsProvider())).setRequestConfigCallback(requestConfigBuilder -> requestConfigBuilder.setConnectTimeout(5000).setSocketTimeout(60000)));

以上代码使用RestClient对象添加了一个BasicCredentialsProvider对象作为默认凭据提供者，以实现基于用户名/密码的访问控制。

加密

加密可以确保在Elasticsearch集群和数据传输过程中的安全性。以下是使用Java API启用HTTPS加密的代码示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "https")));

以上代码使用RestClient对象启用了HTTPS加密协议，以确保数据传输的安全性。

身份验证

身份验证是Elasticsearch中一个非常重要的概念，它可以确保只有经过授权的用户才能够访问和修改Elasticsearch集群和数据。以下是使用Java API添加基于X-Pack的身份验证功能的代码示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "https")).setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setDefaultCredentialsProvider(new BasicCredentialsProvider())).setRequestConfigCallback(requestConfigBuilder -> requestConfigBuilder.setConnectTimeout(5000).setSocketTimeout(60000)).setXpackBuilder(XPackClientBuilder.builder("username", "password")));

以上代码使用RestClient对象启用了基于X-Pack的身份验证功能，并将用户名和密码设置为"username"和"password"。

结论

本文介绍了如何使用访问控制、加密和身份验证等技术来提高Elasticsearch的安全性。这些技术可以确保Elasticsearch集群和数据的安全性，并保护其免受未经授权的访问和攻击。在实际应用中，需要根据具体需求来选择合适的安全措施。

应用程序集成

将Elasticsearch集成到应用程序中是实现数据搜索和分析的关键。本文将介绍如何使用REST API和各种客户端库来将Elasticsearch集成到应用程序中。

REST API

Elasticsearch提供了REST API，以便应用程序可以通过HTTP协议与Elasticsearch进行交互。以下是使用Java代码向Elasticsearch索引添加文档的示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
IndexRequest request = new IndexRequest("my_index");
request.id("1");
String jsonString = "{" +"\"name\":\"John\"," +"\"age\":30," +"\"city\":\"New York\"" +"}";
request.source(jsonString, XContentType.JSON);
IndexResponse response = client.index(request, RequestOptions.DEFAULT);

以上代码使用RestHighLevelClient对象向名为"my_index"的索引添加ID为1的文档。

客户端库

Elasticsearch也提供了各种语言的客户端库，以便应用程序可以更容易地与Elasticsearch交互。以下是使用Java API添加Elasticsearch客户端库的代码示例：

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.14.0</version>
</dependency>

以上代码将elasticsearch-rest-high-level-client客户端库添加到Java项目中。

以下是使用Java代码向Elasticsearch索引添加文档的客户端库示例：

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
IndexRequest request = new IndexRequest("my_index");
request.id("1");
Map<String, Object> jsonMap = new HashMap<>();
jsonMap.put("name", "John");
jsonMap.put("age", 30);
jsonMap.put("city", "New York");
request.source(jsonMap);
IndexResponse response = client.index(request, RequestOptions.DEFAULT);

以上代码使用RestHighLevelClient对象和Elasticsearch客户端库向名为"my_index"的索引添加ID为1的文档。

结论

本文介绍了如何使用REST API和各种语言的客户端库将Elasticsearch集成到应用程序中。这些方法可以使应用程序更有效地与Elasticsearch交互，并实现数据搜索和分析等功能。在实际应用中，需要根据具体需求来选择合适的集成方式。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/66287.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

PLUS操作流程、应用与实践，多源不同分辨率数据的处理、ArcGIS的应用、PLUS模型的应用、InVEST模型的应用

PLUS操作流程、应用与实践，多源不同分辨率数据的处理、ArcGIS的应用、PLUS模型的应用、InVEST模型的应用

PLUS模型是由中国地质大学&#xff08;武汉&#xff09;地理与信息工程学院高性能空间计算智能实验室开发&#xff0c;是一个基于栅格数据的可用于斑块尺度土地利用/土地覆盖(LULC)变化模拟的元胞自动机(CA)模型。PLUS模型集成了基于土地扩张分析的规则挖掘方法和基于多类型随机…
阅读更多...
Python爬虫IP代理池的建立和使用

Python爬虫IP代理池的建立和使用

写在前面 建立Python爬虫IP代理池可以提高爬虫的稳定性和效率&#xff0c;可以有效避免IP被封锁或限制访问等问题。 下面是建立Python爬虫IP代理池的详细步骤和代码实现&#xff1a; 1. 获取代理IP 我们可以从一些代理IP网站上获取免费或付费的代理IP&#xff0c;或者自己租…
阅读更多...
阿里云云主机_ECS云服务器_轻量_GPU_虚拟主机详解

阿里云云主机_ECS云服务器_轻量_GPU_虚拟主机详解

阿里云云主机分为云虚拟主机、云服务器ECS、轻量应用服务器、GPU云服务器、弹性裸金属服务器、专有宿主机、FPGA云服务器、高性能计算E-HPC、无影云电脑等&#xff0c;阿里云百科来详细说下阿里云云主机详解&#xff1a; 目录 阿里云云主机 云服务器ECS 轻量应用服务器 云…
阅读更多...
Vue+ElementUI实现选择指定行导出Excel

Vue+ElementUI实现选择指定行导出Excel

这里记录一下&#xff0c;今天写项目时 的一个需求&#xff0c;就是通过复选框选中指定行然后导出表格中选中行的Excel表格 然后这里介绍一个工具箱(模板)&#xff1a;vue-element-admin 将它拉取后&#xff0c;运行就可以看到如下界面&#xff1a; 这里面的很多功能都已经实现…
阅读更多...
淘宝API接口的实时数据和缓存数据区别

淘宝API接口的实时数据和缓存数据区别

电商API接口实时数据是指通过API接口获取到的与电商相关的实时数据。这些数据可以包括商品库存、订单状态、销售额、用户活跃度等信息。 通过电商API接口&#xff0c;可以实时获取到电商平台上的各种数据&#xff0c;这些数据可以帮助企业或开发者做出及时的决策和分析。例如&…
阅读更多...
抓取预测二手车价格的机器学习模型

抓取预测二手车价格的机器学习模型

一、说明 你好&#xff0c;希望那里一切都好&#xff01;今天在本文中&#xff0c;我们有三个不同的部分。1&#xff09;我想与您分享一个主题故事&#xff0c;以便您了解该主题。2&#xff09;我们将深入探讨该过程。您将学习一些网页抓取方法。3&#xff09;然后当然是EDA过程…
阅读更多...
【黑马头条之app端文章搜索ES-MongoDB】

【黑马头条之app端文章搜索ES-MongoDB】

本笔记内容为黑马头条项目的app端文章搜索部分 目录 一、今日内容介绍 1、App端搜索-效果图 2、今日内容 二、搭建ElasticSearch环境 1、拉取镜像 2、创建容器 3、配置中文分词器 ik 4、使用postman测试 三、app端文章搜索 1、需求分析 2、思路分析 3、创建索引和…
阅读更多...
C语言中几种常见数据类型所占字节数

C语言中几种常见数据类型所占字节数

指针是一个特殊的变量&#xff0c;32位机器占4个字节&#xff0c;64位机器占8个字节&#xff1b; **16位编译器&#xff1a; char/unsigned char &#xff1a;1字节 char &#xff1a;2字节 short int&#xff1a;2字节 int/unsigned int&#xff1a;2字节 long int&#xff…
阅读更多...
【STM32】FreeRTOS互斥量学习

【STM32】FreeRTOS互斥量学习

互斥量&#xff08;Mutex&#xff09; 互斥量又称互斥信号量&#xff08;本质也是一种信号量&#xff0c;不具备传递数据功能&#xff09;&#xff0c;是一种特殊的二值信号量&#xff0c;它和信号量不同的是&#xff0c;它支持互斥量所有权、递归访问以及防止优先级翻转的特性…
阅读更多...
解决校园网使用vmware桥接模式，虚拟机与物理机互相ping通，但是虚拟机ping不通百度的问题

解决校园网使用vmware桥接模式，虚拟机与物理机互相ping通，但是虚拟机ping不通百度的问题

遇到的问题 使用校园网时&#xff0c;桥接模式下&#xff0c;物理机可以ping通虚拟机&#xff0c;但是虚拟机ping不通主机 解决方法 在物理机中查看网络相关信息 ipconfig 修改虚拟机网卡信息 vim /etc/sysconfig/network-scripts/ifcfg-ens33 注意 /ifcfg-ens33需要根据…
阅读更多...
Kotlin runBlocking launch多个协程读写mutableListOf时序

Kotlin runBlocking launch多个协程读写mutableListOf时序

Kotlin runBlocking launch多个协程读写mutableListOf时序 import kotlinx.coroutines.delay import kotlinx.coroutines.launch import kotlinx.coroutines.runBlockingfun main(args: Array<String>) {var lists mutableListOf<String>()runBlocking {launch {r…
阅读更多...
R语言 列表中嵌套列名一致的多个数据框如何整合为一个数据框

R语言 列表中嵌套列名一致的多个数据框如何整合为一个数据框

在批量建模后容易得到list&#xff0c;list中的每个元素都是单个的tibble 或者 dataframe&#xff0c;如何将这些数据整合为一张表呢&#xff1f; 载入R包 library(broom) library(tidyverse) 模拟数据 models <- txhousing %>% group_by(city) %>% do(modlm(lo…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023