【Apache Doris】Manager极致丝滑地运维管理-编程知识

【Apache Doris】Manager极致丝滑地运维管理

1.标准VS可视化运维管理
2. 环境信息
- 2.1.硬件信息
- 2.2.软件信息
3.前置准备
- 3.1.安装包准备
- 3.2.文档手册准备
4.集群初始化
- 4.1.系统参数预设
- 4.2.Manager部署
- 4.3.新集群部署
- 4.4 监控告警
- - 4.4.1 监控
  - 4.4.2 告警
5. 集群升级
- 5.1 新包准备
- 5.2 一键升级
- 5.3 结果验收
6. 集群扩所容
- 6.1 一键扩容
- 6.2 一键缩容
7. 多集群管理
- 7.1 新建/接管集群
- 7.2 环境配置
- 7.3 节点配置
8. 总结

1.标准VS可视化运维管理

在这里插入图片描述
标准化运维管理，首先得自己手动在集群的每台节点上去分发包、并解压；然后分别对FE和BE进行配置初始化（FE主要修改IP和JAVA目录，BE主要修改IP、JAVA目录和存储路径配置）。

做完上面的包分发及配置初始化后，还需分别到对应节点去启动FE、BE和Broker进程，如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起，然后通过Client逐个Add加入集群即可，但FE集群有类似Zookeeper的选举机制，所以非第一个FE节点第一次启动时、还得注意加–helper命令。

初始化完集群后，如果想做可视化监控得另外集成Prometheus和Grafana，如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来，运维管理体系算是基本完成了，但是天都夜màma了。

在这里插入图片描述

可视化运维管理（Cluster Manager for Apache Doris，简称 Doris Manager，再简称 Manager），它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。

Manager能够快速拉起一套又一套的Doris/SelectDB集群，集成了监控告警、集群巡检和WebUI等模块，提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口，能够极大地提高运维管理效率，且使用起来也非常顺畅。

接下来一起来纵享Manager的丝滑体验吧！

2. 环境信息

2.1.硬件信息

内存：48C
CPU：256G
CPU架构：X86_64

2.2.软件信息

Doris: 2.0.2
SelectDB：2.0.2
Manager：23.10.3
系统：CentOS

3.前置准备

官方专项微信群公告中应有尽有，还没有进群的小伙伴们可私a拉你！

3.1.安装包准备

manager下载地址：https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
doris/selected安装包下载地址：
- doris: https://doris.apache.org/zh-CN/download/
- selectdb: https://cn.selectdb.com/download/core

本次新建集群以selectdb为例，接管集群以doris为例。

3.2.文档手册准备

1. 部署手册：
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南：
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档：
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档：
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈：
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb

4.集群初始化

4.1.系统参数预设

交换分区（swap）未关闭，请打开终端窗口，输入以下命令以禁用交换分区：

sudo swapoff -a

最大打开文件数小于65535，请打开终端窗口，输入以下命令：

sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p

虚拟内存区域数量不符合要求，请打开终端窗口，输入以下命令：

sudo sysctl -w vm.max_map_count=2000000

机器时钟一致（各节点之间的时差默认需小于5秒）

4.2.Manager部署

1）创建一个用于Manager的目录

mkdir manager
cd manager

2）上传准备的Manager和SelectDB包

在这里插入图片描述

3）解压Manager包

tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz

在这里插入图片描述

Manager安装包目录说明

    deps // Doris Manager 管控依赖组件alertmanager // 告警工具grafana // 监控看板工具jdk // jdk依赖包prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件bin  // 启停脚本conf // 配置文件lib  // 服务二进制
webserver // Doris Manager Web 服务组件，这是网页入口服务，需要手工启动bin  // 启停脚本conf  // 配置文件config-tool  // Doris Manager 服务管理工具inspection  // 巡检脚本lib  // 服务二进制static  // 前端静态文件

4）配置web服务（可选）

不配置时，默认会将web服务的元数据存放在一个h2内置小数据库。

vim webserver/conf/manager.conf

manager.conf如下：

# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql# 如果数据库类型为h2，默认的数据存储路径为webserver目录下的data路径，
# 用户也可以指定自定义的绝对路径
DATA_PATH=# 如果数据库类型为mysql，配置mysql数据库的访问地址
DB_HOST=127.0.0.0# 配置mysql数据库的访问端口
DB_PORT=3306# 配置mysql数据库的访问用户
DB_USER=root# 配置mysql数据库的访问用户密码
DB_PASS=root# 配置mysql数据库的访问Database名称，需要提前创建
DB_DBNAME=manager