K8s 部署 elasticsearch-7.14.0 集群及 kibana 客户端-编程知识

一、K8s 部署 elasticsearch-7.14.0 集群

安装规划

组件	replicas	类型
es	3	StatefulSet
kibana	1	Deployment

使用 k8s 版本为：v1.18.0 。

本次使用 OpenEBS 来作为存储引擎，OpenEBS 是一个开源的、可扩展的存储平台，它提供了一种简单的方式来创建和管理持久化存储卷。它支持各种存储后端，包括但不限于 ZFS、Btrfs、XFS 等。同时，OpenEBS 具有高度的可扩展性和可配置性，可以满足不同的存储需求。

安装 OpenEBS ：

kubectl apply -f https://openebs.github.io/charts/openebs-operator.yaml

验证OpenEBS是否正确安装：

kubectl get pods -n openebs

在这里插入图片描述
所有的 OpenEBS pods 都处于Running状态表示正常。

1. 创建命名空间

vi es-ns.yml

apiVersion: v1
kind: Namespace
metadata:name: eslabels:name: es

kubectl apply -f es-ns.yml

查看命名空间：

kubectl get ns

在这里插入图片描述

2. 创建存储卷

使用 OpenEBS 本地存储模式：

vi es-local-storage.yml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: es-local-storageannotations:openebs.io/cas-type: localcas.openebs.io/config: |- name: StorageTypevalue: hostpath- name: BasePathvalue: /data/openebs/es 
provisioner: openebs.io/local
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer

kubectl apply -f es-local-storage.yml

查看存储卷：

kubectl get sc

在这里插入图片描述

3. 创建 ConfigMap 配置

主要声明 elasticsearch.yml 配置文件：

vi es-config.yml

apiVersion: v1
kind: ConfigMap
metadata:name: es-confignamespace: eslabels:app: es-config
data:elasticsearch.yml: |+     #集群名称cluster.name: cluster-es#节点名称，每个节点的名称不能重复，这里不指定，使用当前主机的名称# node.name: #ip 地址，每个节点的地址不能重复network.host: 0.0.0.0#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200# head 插件需要这打开这两个配置,解决跨域问题http.cors.allow-origin: "*"http.cors.enabled: truehttp.max_content_length: 200mb#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 mastercluster.initial_master_nodes: ["es-0"]#es7.x 之后新增的配置，节点发现discovery.seed_hosts: ["es-0.es-svc.es.svc.cluster.local:9300","es-1.es-svc.es.svc.cluster.local:9300","es-2.es-svc.es.svc.cluster.local:9300"]gateway.recover_after_nodes: 2network.tcp.keep_alive: truenetwork.tcp.no_delay: truetransport.tcp.compress: true#集群内同时启动的数据任务个数，默认是 2 个cluster.routing.allocation.cluster_concurrent_rebalance: 16#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个cluster.routing.allocation.node_concurrent_recoveries: 16#初始化数据恢复时，并发恢复线程的个数，默认 4 个cluster.routing.allocation.node_initial_primaries_recoveries: 16

注意这里的集群间的访问使用域名：es-X.es-svc.es.svc.cluster.local ，格式为：

(podname).(headless server name).(namespace).svc.cluster.local

所以注意下面创建 Headless Service 服务名字需要为 es-svc ，StatefulSet 中Pod 的名字需要为 es 。

kubectl apply -f es-config.yml

查看 ConfigMap：

kubectl get cm -n es

在这里插入图片描述

4. 创建 Service 服务

这里需要创建两个，一个用于集群建访问的 Headless Service ，一个用于外部访问的 NodePort Service :

vi es-svc.yml

# headless service 
apiVersion: v1
kind: Service
metadata:name: es-svcnamespace: eslabels:app: es-svc
spec:clusterIP: Noneports:- name: rest-portport: 9200- name: cluster-portport: 9300selector:app: es---
# NodePort service 
apiVersion: v1
kind: Service
metadata:name: es-svc-nodeportnamespace: eslabels:app: es-svc
spec:clusterIP: ports:- name: rest-portport: 9200nodePort: 31920targetPort: 9200selector:app: estype: NodePorttarget-port:externalTrafficPolicy: Cluster # Local 只有所在node可以访问，Cluster 公平转发

kubectl apply -f es-svc.yml

查看创建的 Service ：

kubectl get svc -n es

在这里插入图片描述

5. 创建 StatefulSet 应用

vi es-sfe.yml

apiVersion: apps/v1
kind: StatefulSet
metadata:name: esnamespace: es
spec:serviceName: "es-svc"   #填写无头服务的名称replicas: 3selector: matchLabels: app: estemplate:metadata:labels:app: esspec:containers:- name: esimage: elasticsearch:7.14.0ports:- containerPort: 9200name: es-rest-port- containerPort: 9200name: es-cluster-portenv:- name: ES_JAVA_OPTSvalue: "-Xms1g -Xmx1g"volumeMounts:                           - name: es-config     #挂载配置mountPath: /usr/share/elasticsearch/config/elasticsearch.ymlsubPath: elasticsearch.yml- name: es-data       #挂载数据mountPath: /usr/share/elasticsearch/data volumes:- name: es-configconfigMap:                                name: es-configvolumeClaimTemplates:- metadata:name: es-dataspec:accessModes: ["ReadWriteOnce"]storageClassName: es-local-storageresources:requests:storage: 5Gi

这里使用 volumeClaimTemplates 动态创建 pv 和 pvc 。

kubectl apply -f es-sfe.yml

查看 statefulset ：

kubectl get statefulset -n es

在这里插入图片描述

查看 pod：

kubectl get pods -n es

在这里插入图片描述

使用 http 请求验证 es 服务是否正常：

http://ip:31920/_cluster/health?pretty

在这里插入图片描述

从结果上可以看出 ES 启动正常。

二、K8s 部署 kibana 客户端

1. 创建 Service 服务

vi kibana-svc.yml

apiVersion: v1
kind: Service
metadata:name: kibana-svc-nodeportnamespace: eslabels:app: kibana-svc
spec:clusterIP: ports:- name: kibanaport: 5601nodePort: 31561targetPort: 5601selector:app: kibanatype: NodePorttarget-port:externalTrafficPolicy: Cluster # Local 只有所在node可以访问，Cluster 公平转发

kubectl apply -f kibana-svc.yml

2. 创建 Deployment 应用

vi kibana-dm.yml

apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: es
spec:replicas: 1selector: matchLabels: app: kibanatemplate:metadata:labels:app: kibanaspec:containers:- name: kibanaimage: kibana:7.14.0ports:- containerPort: 5601name: ui-portenv:- name: ELASTICSEARCH_HOSTSvalue: http://es-0.es-svc.es.svc.cluster.local:9200

kubectl apply -f kibana-dm.yml

查看 pod ：

kubectl get pods -n es

在这里插入图片描述

下面在浏览器访问 kibana 页面：

http://ip:31561/

在这里插入图片描述

三、测试

使用 kibana 创建一个 test_index 索引：

PUT /test_index

在这里插入图片描述

查看 test_index 索引信息：

GET /test_index

在这里插入图片描述

向 test_index 索引中添加数据：

PUT /test_index/user/1
{"name": "张三","age": 15,"sex": "男"
}

在这里插入图片描述

查询添加的数据：

GET /test_index/user/1

在这里插入图片描述