Elasticsearch Index Shard Allocation 索引分片分配策略

Elasticsearch 索引分片的分配策略说明

在上一篇《索引生命周期管理ILM看完不懂你锤我
》（https://mp.weixin.qq.com/s/ajhFp-xBU1dJm8a1dDdRQQ）中，我们已经学会了索引级别的分片分配过滤属性，也就是在配置文件中指定当前节点的属性值node.attr.node_type: hot，这个你还记得吗，不记得的话可以回去在复习一下哦。

这一篇文章中，我们主要学习一下索引分片的分配策略，也就是分片时是根据什么规则进行分配的呢？

版本：Elasticsearch 8.1

一、索引级自定义属性分片分配策略

我们有 5 个节点，node-1,node-2,node-3 增加属性 node.attr.role: master，node-4,node-5 增加属性 node.attr.role: slave。
elasticsearch.yml 文件中配置如下:

node-1,node-2,node-3

# node-1,node-2,node-3
node.attr.role: master

node-4,node-5

# node-4,node-5
node.attr.role: slave

定义索引zfc-doc-000013，指定index.routing.allocation.include.role为slave，意思就是该索引分片只分配到node.attr.role的值为slave的节点上。

PUT zfc-doc-000013
{"settings": {"number_of_replicas": 0,"number_of_shards": 3,"index.routing.allocation.include.role":"slave"}
}

当前集群为 5 个节点的集群，其中只有 node-4、node-5 的 role 为 slave ，所以创建的索引 zfc-doc-000013 只会在这两个节点 node-4、node-5 中进行分配，而不会在 node-1、node-2、node-3中进行分配。

二、节点离开时触发分配

当集群中的节点由于未知的原因或者已知的原因离开集群时，主节点会做出以下反应：

  • 如果当前离开的节点上有主分片，会将其它的副本分片提升为主分片以替换该节点上的主分片；
  • 如果有足够多的节点，分配副本分片来替代当前节点丢失的副本分片；
  • 在剩余的节点之间进行重新平衡分片。

通过上述的操作可以让我们尽可能的防止数据丢失，但是如果离开的节点很快就恢复那么这可能就是没有必要的操作了。所以哪怕我们在节点级别和集群级别限制并发恢复，这种重新分配分片仍然会给系统带来大量的额外负载。

想象一下以下场景：

  • 节点 node-3 离开集群
  • 主节点将节点 node-3 上的主分片的副本分片提升为主分片
  • 主节点将新的副本分配给集群中的其它节点
  • 每个新副本都会通过网络创建主分片的完整副本
  • 更多的分片被移动到不同的节点以重新分片分配达到平衡
  • 几分钟之后节点 node-3 返回加入集群
  • 主分片将分片分配给节点 node-3 以重新平衡集群

集群初始分配状态

停掉节点 node-3

默认等待一分钟之后，系统自动进行分片的重新分配

节点恢复之后进行分片重新分配

由于节点离开造成的未分配分片可以通过修改参数 index.unassigned.node_left.delayed_timeout 动态设置延迟时间，默认 1m。

可以在单个索引或者全部索引上进行设置该参数。


PUT zfc-doc-000013/_settings
{"settings": {"index.unassigned.node_left.delayed_timeout": "2m"}
}

此设置不会影响副本分片升级为主分片，也不会影响之前未分配的副本的分配。需要注意的是，该设置在集群重启之后会失效。

2.1、取消分片分配

如果延迟分配超时，主节点会将丢失的分片分配给另一个节点，该节点将开始恢复。
如果离开的节点重新加入集群，并且其分片仍然具有与主分片相同的 sync-id，分片的重新分配将被取消，同步分片将恢复。
因此默认超时设置为一分钟，即使分片重新分配已经开始，取消的成本也很低。

我们可以通过如下 API 查看集群健康状态。

GET _cluster/health

2.2、节点永久离开

如果一个节点离开集群之后确定不会在返回，我们可以通过设置参数 index.unassigned.node_left.delayed_timeout 为 0 来让 Elasticsearch 马上分配未分配的分片。

PUT _all/_settings
{"settings": {"index.unassigned.node_left.delayed_timeout": "0"}
}

三、索引恢复优先级

对于索引分片的重新分配，对于索引来说是有优先级的。

1、index.priority最高的优先

2、其次是索引的创建时间

对于如下例子，我们可以自己测试一下：

PUT zfc-doc-index_1PUT zfc-doc-index_2PUT zfc-doc-index_3
{"settings": {"index.priority": 10}
}PUT zfc-doc-index_4
{"settings": {"index.priority": 5}
}
  • zfc-doc-index_3 第一个被恢复，因为它的优先级 index.priority 最高。
  • zfc-doc-index_4 第二个被恢复，它的优先级仅次于索引 zfc-doc-index_3。
  • zfc-doc-index_2 第三个被恢复，它是最近创建的。
  • zfc-doc-index_1 最后被恢复。

四、节点总分片数限制

Elasticsearch 的集群在分配分片的时候，Elasticsearch 会尽可能的将单个索引的分片尽可能的分配在尽可能多的节点上，但是有时不是那么的均匀。我们可以通过以下设置修改允许每个节点上单个索引的分片总数的限制，index.routing.allocation.total_shards_per_node 分配给单个节点的最大分片数，默认没有限制。

PUT zfc-doc-000013/_settings
{"settings":{"index.routing.allocation.total_shards_per_node": 2}
}

也可以在不考虑索引的情况下限制节点可以拥有的分片数量 cluster.routing.allocation.total_shards_per_node 分配给每个节点的主分片和副本分片的最大数量，默认 -1 没有限制。

PUT _cluster/settings?flat_settings=true
{"transient":{"cluster.routing.allocation.total_shards_per_node":2}
}

Elasticsearch 会在分片的重新分配期间进行校验该参数，有如下场景：
一个 Elasticsearch 集群，有三个节点，cluster.routing.allocation.total_shards_per_node 设置为100，并且具有如下的分片分布情况

  • 节点1：100个分片
  • 节点2：98个分片
  • 节点3：1个分片

如果节点3发生故障，Elasticsearch 会将其分片重新分配到节点2，并不会分配到节点1，因为分配到节点1会超过设置的100分片限制。

需要注意的是，如果我们设置了该参数，可能会导致部分分片无法进行分配。

下面我们用个例子来说明，首先看如下是我本地 Elasitcsearch 集群的部分索引

我们通过使用 API 动态修改参数之后，让其重新进行分片分配会发生什么情况呢？

如下语句意思就是每个节点主分片加副本分片数量不能大于 2，所以在下次发生分片的重新分配时肯定会无法进行分配。

PUT _cluster/settings?flat_settings=true
{"transient":{"cluster.routing.allocation.total_shards_per_node":2}
}

停止 node-3 节点之后，分片无法分配。

在上面更改集群的设置时，我们可能已经注意到了，使用的是 transient ，还可以使用 persistent,他俩的区别就是transient 的配置会在集群重启之后失效，persistent会持久化保存。

不过这几个配置的优先级如下：

1、transient

2、persistent

3、elasticsearch.yml

4、设置的默认值

五、索引级别数据层过滤

索引级别过滤与前面的自定义属性分片分配类似，不过索引级别使用的是_tier_preference 来控制索引分配到哪个数据层。

这块不是特别了解的可以参考文章开头引用的索引生命周期那篇文章，该文章内通过例子展示了索引的生命周期。

我们还是用一个例子来说明
首先在elasticsearch.yml 定义角色
node-1,node-2中定义 node.roles: ["data_hot", "data_content"]
node-3,node-4中定义 node.roles: ["data_warm","data_content"]
node-5中定义 node.roles: ["data_cold","data_content"]

关于节点角色的定义，可以参考官网：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-node.html#master-node

集群按照上面的配置完成之后，启动如下

通过 API 定义索引 zfc-doc-index_1 的分片分配策略在 data_warm 层

PUT zfc-doc-index_1
{"settings": {"number_of_replicas": 2,"number_of_shards": 3,"index.routing.allocation.include._tier_preference": "data_warm"}
}

按照预期的设定，索引的分片应该是分布在 node-3,node-4 中，结果如下：

可以看到，有分片是没有进行分配的，所以这也是修改分片分配策略时需要特别注意的一点。

总结

通过上面的学习，我们知道了：

  • 可以通过自定义属性 node.attr.[] 控制分片的分配
  • 可以通过索引级别的角色 index.routing.allocation.include._tier_preference 进行数据层的过滤分配
  • 分片的分配过程中是可以通过 index.priority 指定优先级的
  • 可以通过 index.routing.allocation.total_shards_per_node 控制每个节点上单个索引的分片数量
  • 可以通过 cluster.routing.allocation.total_shards_per_node 控制每个节点上所有主分片加副本分片的总数量

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/418435.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

springboot知识04

springboot知识04

1、集成swaggershiro放行 （1）导包 （2）SwaggerConfig（公共） package com.smart.community.common.swagger.config;import io.swagger.annotations.ApiOperation; import org.springframework.beans.facto…
阅读更多...
Java学习笔记(七)——操作数组工具类Arrays

Java学习笔记(七)——操作数组工具类Arrays

文章目录 ArraysArrays.toString()Arrays.binarySearch()Arrays.copyOf()Arrays.copyOfRange()Arrays.fill()Arrays.sort()升序排序降序排序 Arrays 操作数组的工具类。 Arrays.toString() import java.util.Arrays;public class test40 {public static void main(String[] a…
阅读更多...
python之粘包/粘包的解决方案

python之粘包/粘包的解决方案

python之粘包/粘包的解决方案 什么是粘包 粘包就是在数据传输过程中有多个数据包被粘连在一起被发送或接受 服务端： import socket import struct# 创建Socket Socket socket.socket(socket.AF_INET, socket.SOCK_STREAM)# 绑定服务器和端口号 servers_addr (…
阅读更多...
Ubuntu系统pycharm以及annaconda的安装配置笔记以及问题集锦（更新中）

Ubuntu系统pycharm以及annaconda的安装配置笔记以及问题集锦（更新中）

Ubuntu 22.04系统pycharm以及annaconda的安装配置笔记以及问题集锦 pycharm安装 安装完之后桌面上并没有生成图标 后面每次启动pycharm都要到它的安装路径下的bin文件夹下， cd Downloads/pycharm-2018.1.4/bin然后使用sh命令启动脚本程序来打开pycharm sh pycha…
阅读更多...
【Linux的权限命令详解】

【Linux的权限命令详解】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 shell命令以及运行原理 Linux权限的概念 Linux权限管理 一、什么是权限？ 二、权限的本质 三、Linux中的用户 四、linux中文件的权限 4.1、文件访问…
阅读更多...
Mybatis Plus baomidou EasyCode插件自动生成驼峰字段实体类，而不是全小写字段实体类

Mybatis Plus baomidou EasyCode插件自动生成驼峰字段实体类，而不是全小写字段实体类

开发环境： springboot 2.4.3baomidou 3.4.0mybatis plus 3.4.0jdk8 问题描述： 1、mybatis 使用baomidou 插件，EasyCode自动生成实体类，但字段都是全部小写的，不太符合编码规范。 2、mysql表字段全是驼峰&#xff0c…
阅读更多...
正则表达式第三四个作用：替换、切割

正则表达式第三四个作用：替换、切割

目录 方法二 replaceAll： 方法三：spilt： 方法一之前已经见过了： 方法二 replaceAll： 形参中： 参数regex表示一个正则表达式。可以将当前字符串中匹配regex正则表达式的字符串替换为newStr。 代码演示 S…
阅读更多...
Windows给docker设置阿里源

Windows给docker设置阿里源

windows环境搭建专栏🔗点击跳转 Windows系统的docker设置阿里源 文章目录 Windows系统的docker设置阿里源1.获得镜像加速器2.配置docker 由于我们生活在中国大陆，所以外网的访问总是那么慢又困难，用docker拉取几兆的小镜象还能忍受&#xff…
阅读更多...
一步一步写线程之五线程池的模型之一领导者追随者模型

一步一步写线程之五线程池的模型之一领导者追随者模型

一、线程池的模型 在学习过相关的多线程知识后，从更抽象的角度来看待多线程解决问题的方向，其实仍然是典型的生产和消费者的模型。无论是数据计算、存储、分发和任务处理等都是通过多线程这种手段来解决生产者和消费者不匹配的情况。所以，得…
阅读更多...
github经常登不上去怎么办？

github经常登不上去怎么办？

问题 想少些代码，多学习，少不了使用github，但是在国内经常上不去，很耽误事，这里提供一个简单方法，供参考。 github GitHub是一个面向开源及私有软件项目的托管平台，可以让开发者共同协作开发软…
阅读更多...
softmax回实战

softmax回实战

1.数据集 MNIST数据集 (LeCun et al., 1998) 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。 我们将使用类似但更复杂的Fashion-MNIST数据集 (Xiao et al., 2017)。 import torch import torchvision from torch.utils import data from torchvisi…
阅读更多...
Web自动化测试 —— cookie复用

Web自动化测试 —— cookie复用

一、cookie简介 cookie是一些数据，存储于用户电脑的文本文件中 当web服务器想浏览器发送web页面时，在链接关闭后，服务端不会记录用户信息 二、为什么要使用Cookie自动化登录 复用浏览器仍然在每次用例开始都需要人为介入若用例需要经常执行&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023