OceanBase 数据库采用 Shared-Nothing 架构,各个节点之间完全对等,每个节点都有自己的 SQL 引擎、存储引擎、事务引擎,天然支持多租户,租户间资源、数据隔离,集群运行的最小资源单元是Unit,每个租户在每个节点上只会运行一个Unit。
先看看集群整体架构图,下面集群的部署模式为“三中心三副本”
有3个zone,每个zone下有两个OBServer节点
以业务租户Tenant_1为例,它有2个Unit,因为蓝色主副本P1、P2运行在zone1的observer上,蓝色主副本P3、P4运行在zone2的observer上,它们分别在另外两个observer上都运行着一个绿色从副本,以提高可用性和读性能,这是“三中心三副本”的由来。
在只有3个zone的情况下,Tenant_1租户的Unit=2,设置Unit=3 就是扩容,Unit=1 就是缩容
-
扩容:需要在每个zone下都增加一台服务器,总共3台,然后在数据库参数中调整Unit_Num的大小由2改为3,就会自动在新添加的服务器上启动Unit(默认配置了负载均衡策略),并自动迁移数据,来提升服务能力
-
缩容有两种场景,1.只减少租户下Unit数量,不下线服务器,2.减少Unit数量,也下线服务器
在有多个zone的情况下,可以在创建租户时,指定租户属于不同zone,还可以迁移zone从一个机房搬迁到另一个机房,先增加 Zone,再在该 Zone 内增加节点,然后调整租户的 Locatity 属性,租户就是数据库实例,相当于把不同的数据库实例部署在不同的zone上。
通过上面的理论得知,扩缩容实际上是调整Unit_Num的数量,而每个节点上只能运行一个租户的一个Unit,它又需要2个副本,所以增加一个Unit就需要在所有zone上都增加一台服务器,且Unit的资源描述大小不能超过服务器硬件配置(Unit需要8核、16G,而增加的服务器只有4核8G,则扩容失败),如果已有zone内的服务器资源配置充足,则不需要添加服务器就可以扩容。
**Tenant_SYS ** 系统租户目前不能扩容,只能3副本的形式存在,而且系统租户资源需要管理整个OceanBase集群的正常运行,所以不要在系统租户上创建数据库和表(上篇文章因演示需要才直接在系统租户下创建的数据库表),官方推荐在自定义租户下创建库表。
数据链路:客户端应用 -> F5/LVS -> OBProxy -> OBServer
上面介绍了扩缩容的理论,下面介绍扩缩容的实际操作,还是先说理论:
- 在部署集群后,会自动创建一个系统租户(Tenant_SYS),同时会创建一些元数据表,部署时的配置信息会保存到元数据表中,扩缩容需要添加服务器节点,调休租户的Unit_Num大小,这些操作都需要保存到元数据表中,我们可以连接系统租户数据库查看元数据表的内容,查看zone、查看节点、查看租户、查看Unit等。
1.连接到系统租户
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A
-u :租户的连接账户,格式有:用户名@租户名#集群名
,系统租户MySQL模式,默认用户名为root,租户为sys,集群名在创建集群时设置的,集群名可以不写。
-p:提供账户密码,为了安全可以不提供,改为在后面提示符下输入,密码文本不可见
-A:表示在 OBClient 连接数据库时不自动获取统计信息
2.查看zone和observer
# 查看zone
SELECT * FROM oceanbase.DBA_OB_ZONES;
STATUS
: ACTIVE
为可用状态,INACTIVE
为不可用状态
# 查看节点
SELECT * FROM oceanbase.DBA_OB_SERVERS;
查询结果中的相关字段说明如下:
SVR_IP
:节点 IP。SVR_PORT
:节点的 RPC 端口。ZONE
:节点所在的 Zone。SQL_PORT
:节点的 SQL 端口,可以使用该端口通过直连方式连接 OceanBase 数据库。WITH_ROOTSERVER
:该节点是否为集群 RS(RootServer),RS 负责处理集群管理操作。STATUS
:节点的状态。ACTIVE
:表示该节点为可用状态。INACTIVE
:表示该节点为宕机状态。DELETING
:表示该节点正在被删除。STOP_TIME
:节点停止服务的时间点。如果值为NULL
,表示节点服务正常运行。START_SERVICE_TIME
:节点开始服务的时间点。如果值为NULL
,表示节点未提供服务。BLOCK_MIGRATE_IN_TIME
:禁止副本迁入的开始时间点。如果为NULL
,表示副本正常迁入。
3.添加节点
3.1.节点需安装OceanBase软件包,并启动observer进程
在OecanBase添加节点前需要在节点上安装OceanBase软件,设置数据存储目录,在oceanbase-all-in-one-4.2.1.1-xxxx86_64.tar.gz的rpms目录中有安装包
1.安装rpm包,主要是oceanbase-ce 和oceanbase-ce-libs,都可以安装
rpm -ivh $rpm_name2.初始化 OceanBase 数据库的目录,$cluster_name是集群名
mkdir -p /data/1/$cluster_name/{etc3,sort_dir,sstable,slog}
mkdir -p /data/log1/$cluster_name/{clog,etc2,ilog,oob_clog}
mkdir -p /home/admin/oceanbase/store/$cluster_name
for t in {etc3,sort_dir,sstable,slog};do ln -s /data/1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done
for t in {clog,etc2,ilog,oob_clog};do ln -s /data/log1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done3.启动observer进程
/home/root/oceanbase/bin/observer -I 192.168.113.164 -P 2882 -p 2881 -z zone1 -d /home/root/oceanbase/store/myoceanbase -r '192.168.113.161:2882:2881' -c 20240119 -n myoceanbase -o "system_memory=10GB,datafile_size=100G,config_additional_dir=/data/1/myoceanbase/etc3;/data/log1/myoceanbase/etc2"
启动observer进程相关参数说明如下:
-I
:参数用于指定待启动的节点 IP。在多机部署场景下,不能指定127.0.0.1
作为目标 IP。-c
:用于指定集群 ID。其值可通过SHOW PARAMETERS LIKE 'cluster_id';
语句获取。-p
:用于指定 SQL 端口号。一般为 2881,除非有明确目的,一般不建议修改。-P
:用于指定 RPC 端口号。一般为 2882,除非有明确目的,不建议修改。-n
:用于指定集群名。其值可通过SHOW PARAMETERS LIKE 'cluster';
语句获取。本示例中集群名为myoceanbase
。-z
:用于指定待加入的 Zone。可通过视图DBA_OB_ZONES
查看集群中的 Zone 名。-d
:用于指定数据目录。-r
:用于指定待添加的 OceanBase 集群的 RS 地址列表。-l
:用于指定日志的级别,本示例中为WARN
,表示日志级别为 WARNING 级别。-o
:用于指定集群的启动配置项,需要根据实际情况配置。system_memory
:用于指定 OceanBase 数据库内部保留内存,10G,默认是 30G。datafile_size
:用于指定 OceanBase 数据库数据文件 SSTable 的大小(一次性初始化),根据/data/1/
可用空间评估,建议不少于 100G,同时又保留一些剩余空间。config_additional_dir
:用于指定参数文件的冗余目录。
如果需要添加多个节点,请重复执行上面添加节点操作。
3.2.向OceanBase集群添加节点
添加节点后,就需要连接集群,把节点添加到元数据表中
1.连接系统租户数据库
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A2.向集群的 Zone 中添加节点
ALTER SYSTEM ADD SERVER 'svr_ip:svr_port' [,'svr_ip:svr_port'...] [ZONE [=] 'zone_name'];
ALTER SYSTEM ADD SERVER '192.168.113.164:2882','192.168.113.165:2882' ZONE 'zone4';3.查询 DBA_OB_SERVERS 进行确认
SELECT * FROM oceanbase.DBA_OB_SERVERS;
增加节点后,节点所在的 Zone 内有更多的节点容纳 Unit,从而可以执行后续的迁移 Unit、调整租户的 UNIT_NUM
以及新建租户等操作
3.3.扩容,调整租户UNIT_NUM大小
租户扩容和缩容本质上是提高和降低租户的服务能力,包括计算能力和存储容量。可以通过提高单节点的服务能力达成,也可以通过增加服务节点达成。
下面通过调整Unit_Num大小来达到租户总服务能力的提升或降低,实现租户的扩容或缩容。
从 V4.0.0 版本开始,OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致
-
有个前提条件,设置租户内的负载均衡策略,租户内的负载均衡策略由租户级配置项
enable_rebalance
和enable_transfer
共同控制,它们的默认值为true
,设置后不需要重启 OBServer 节点,立即生效。当他们的值为true时,表示在进行租户扩缩容操作时,系统会自动调整分区分布,实现负载均衡。ALTER SYSTEM SET enable_rebalance = true TENANT = 'tenant_name'; ALTER SYSTEM SET enable_transfer = true TENANT = 'tenant_name';#系统租户开启所有用户租户(不含 sys 租户和 Meta 租户)的租户内负载均衡和租户下的 Transfer 功能 ALTER SYSTEM SET enable_rebalance = true TENANT = all; ALTER SYSTEM SET enable_transfer = true TENANT = all;
调整Unit_Num大小,来给租户扩缩容
-
1.连接系统租户数据库
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A
-
2.use oceanbase;
可以 show tables; 看看有很多系统内置的表
-
3.查看租户 mysql001 信息,获取其 TENANT_ID。
SELECT * FROM oceanbase.DBA_OB_TENANTS WHERE TENANT_NAME = 'ocp';
查询结果中,UNIT_NUM 的值为 1 表示租户的 Unit Number 数为 1。
-
4.查看租户 ocp 所拥有的 Unit,在3台服务器上分别有一个Unit,一主两从。
SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1002;
-
5.把租户 mysql001 的 UNIT_NUM 修改为 2。
ALTER RESOURCE TENANT mysql001 UNIT_NUM = 2;
-
6.查看调大 Unit Number 任务的执行状态。
SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE='ALTER_RESOURCE_TENANT_UNIT_NUM' AND TENANT_ID=1006;
-
7.再次查看租户 mysql001 修改后的 Unit。
SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1006;
-
8.通过随机删除 UNIT_GROUP 的方式来调小 UNIT_NUM 的数量
ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1;
参考了官方文档:
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507927
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508357