MHA：故障切换-编程知识

MHA：

masterhight availabulity：基于主库的高可用环境下：主从复制故障切换

主从的架构。

MHA：最少要一主两从

mysql的单点故障问题，一旦主库崩溃，MHA可以在0-30秒内自动完成故障切换。

工作原理：

MHA使用的是半同步复制，只要有一台从服务器写入数据，就会自动提交给客户端

如果masster崩溃，slave就会从主的二进制日志保存文件

slave识别最新更新的日志。

差异部分同步到slave

提升一个新的slave作为master

其他的slave继续和新的master同步。

实验准备：

1，MHA架构搭建

2，故障模拟

3，故障恢复

MHA manager

master

slave1

slave2

node组件------->需要部署在实验服务器上。manger组件依赖于node组件，node组件监控mysql的状态。

node组件靠ssh远程连接来进行通信。

先实现主从复制：

改主机名

hostnamectl set-hostname Master

hostnamectl set-hostname Slave1

hostnamectl set-hostname Slave2

改配置文件

##Master 节点##

vim /etc/my.cnf

[mysqld]

server-id = 1

log_bin = master-bin

log-slave-updates = true

##Slave1 节点##

vim /etc/my.cnf

server-id = 2

log_bin = master-bin

relay-log = relay-log-bin

relay-log-index = slave-relay-bin.index

vim /etc/my.cnf

server-id = 3

relay-log = relay-log-bin

relay-log-index = slave-relay-bin.index

systemctl restart mysqld

创建软连接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/

ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

进入数据库进行赋权同步操作

#从数据库同步使用

grant replication slave on . to 'myslave'@'192.168.176.%' identified by '123456';

#manager 使用

grant all privileges on . to 'mha'@'192.168.176.%' identified by 'manager';

#防止从库通过主机名连接不上主库

grant all privileges on . to 'mha'@'master' identified by 'manager';

grant all privileges on . to 'mha'@'slave1' identified by 'manager';

grant all privileges on . to 'mha'@'slave2' identified by 'manager';

flush privileges;

在 Master 节点查看二进制文件和同步点

show master status;

在两个从上同步

开启同步

start slave;

查看数据同步结果:

show slave status\G;

设置两个从库为只读模式

测试

第二部MHA 故障恢复

所有的服务器都要安装MHA依赖环境前提要安装epel源

yum install epel-release --nogpgcheck -y

先安装node组件，

yum install -y perl-DBD-MySQL

perl-Config-Tiny

perl-Log-Dispatch

perl-Parallel-ForkManager

perl-ExtUtils-CBuilder

perl-ExtUtils-MakeMaker

perl-CPAN

再安装MHA

cd /opt

tar zxvf mha4mysql-node-0.57.tar.gz

cd mha4mysql-node-0.57

perl Makefile.PL

make && make install

在test1安装

cd /opt

tar zxvf mha4mysql-manager-0.57.tar.gz

cd mha4mysql-manager-0.57

编译 : perl Makefile.PL

安装： make && make install

master组件

masterha_check_ssh: 检查MHA的SSH的配置状况

masterha_check_repl：检查mysql的复制情况

masterha_manager：启动manager的脚本

masterha_check_status：检测MHA的运行状态

masterha_master_monitor：检测matser主机的情况，maters是否宕机。

masterha_master_switch：控制故障转移

masterha_conf_host：添加或者删除配置的server信息。

masterha_stop：停止MAH脚本

node组件

save_binary_logs 保存和复制mater的二进制日志

apply_diff_relay_logs：识别二进制日志当中的差异事件，然后发送给其他的slvae

filter_mysqlbinlog: 去除不必要的回滚(MHA已经不用了)

purge_relay_logs：同步之后清楚中继日志（不会阻塞sql的线程）

要实现MAH的免密登录

在所有服务器上配置无密码认证

（1）在 manager 节点上配置到所有数据库节点的无密码认证

ssh-keygen -t rsa #一路按回车键

ssh-copy-id 192.168.176.30

ssh-copy-id 192.168.176.31

ssh-copy-id 192.168.176.32

在 slave1 上配置到数据库节点 master 和 slave2 的无密码认证

ssh-keygen -t rsa

ssh-copy-id 192.168.176.30

ssh-copy-id 192.168.176.32

在 slave2 上配置到数据库节点 master 和 slave1 的无密码认证

ssh-keygen -t rsa

ssh-copy-id 192.168.176.30

ssh-copy-id 192.168.176.31

manager 节点上配置 MHA

在 manager 节点上复制相关脚本到/usr/local/bin 目录

cp -a /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

//拷贝后会有四个执行文件

ll /usr/local/bin/scripts/

复制上述的自动切换时 VIP 管理的脚本到 /usr/local/bin 目录

这里使用master_ip_failover脚本来管理 VIP 和故障切换

复制出来

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

修改脚本

删除处第一行之外的所有

use strict;

use warnings FATAL => 'all';

use Getopt::Long;

my (

$command, $ssh_user, $orig_master_host, $orig_master_ip,

$orig_master_port, $new_master_host, $new_master_ip, $new_master_port

);

my $vip = '192.168.233.100'; #设定VIP的地址

my $brdc = '192.168.233.255'; #设定vip的广播地址

my $ifdev = 'ens33'; #vip绑定的网卡

my $key = '1'; ifcong ens33:1 192.168.233.100/24

my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";

ens33:1 192.168.233.100 up

my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";

ens33:1 192.168.233.100 down

my $exit_code = 0;

GetOptions(

'command=s' => $command,

'ssh_user=s' => $ssh_user,

'orig_master_host=s' => $orig_master_host,

'orig_master_ip=s' => $orig_master_ip,

'orig_master_port=i' => $orig_master_port,

'new_master_host=s' => $new_master_host,

'new_master_ip=s' => $new_master_ip,

'new_master_port=i' => $new_master_port,

);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;

eval {

print "Disabling the VIP on old master: $orig_master_host \n";

&stop_vip();

$exit_code = 0;

};

if ($@) {

warn "Got Error: $@\n";

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "start" ) {

my $exit_code = 10;

eval {

print "Enabling the VIP - $vip on the new master - $new_master_host \n";

&start_vip();

$exit_code = 0;

};

if ($@) {

warn $@;

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "status" ) {

print "Checking the Status of the script.. OK \n";

exit 0;

}

else {

&usage();

exit 1;

}

sub start_vip() {

ssh $ssh_user\@$new_master_host \" $ssh_start_vip \";

}

A simple system call that disable the VIP on the old_master

sub stop_vip() {

ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \";

}

sub usage {

"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";

}

mater 宕机之后 VIP切换到新的主库。

[server default]

manager_log=/var/log/masterha/app1/manager.log #manager的管理日志。

manager_workdir=/var/log/masterha/app1 #manager的工作目录

master_binlog_dir=/usr/local/mysql/data #保存master的二进制日志的位置，必须要和master保存的路径一致。

master_ip_failover_script=/usr/local/bin/master_ip_failover #设置自动切换脚本

master_ip_online_change_script=/usr/local/bin/master_ip_online_change #手动切换脚本

password=manager

ping_interval=1 #监控主库，发送ping包的时间间隔。1秒。尝试三次之后会切换到failover脚本进行自动切换

remote_workdir=/tmp #mysql在发生切换时，binlog的保存位置

repl_password=123456 #用户密码

repl_user=myslave #用户名

secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.233.22 -s 192.168.233.23

#从对主监听从和主之间互相监听，主无需声明

shutdown_script="" #设置切换时，警告的脚本

ssh_user=root #远程登录用户名

user=mha

[server1]

hostname=192.168.233.21

#主服务器

port=3306

[server2]

candidate_master=1 #设置后选的master主库崩溃会切换到server2 233.22

check_repl_delay=0 #即使设置了权重，但是从服务器的relay_logs落后master100M，也不会切换。设置0，会忽略延迟复制，直接升为主，强制切换到设定为候选master的服务器。

hostname=192.168.233.22

#备用主服务器

port=3306

[server3]

hostname=192.168.233.23

#从服务器2

port=3306

测试主从之间免密通信是否正常

masterha_check_ssh -conf=/etc/masterha/app1.cnf

正常最后会输出 successfully

整个主从MHA健康检测

masterha_check_repl -conf=/etc/masterha/app1.cnf

出现 MySQL Replication Health is OK 字样说明正常

在 manager 节点上启动 MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

查看 MHA 状态，可以看到当前的 master 是 master 节点。

masterha_check_status --conf=/etc/masterha/app1.cnf

模拟故障：

systemctl stop mysqld

故障修复步骤：

systemctl restart mysqld

#在现主库服务器 Mysql2 查看二进制文件和同步点

show master status;

#在原主库服务器 mysql1 执行同步操作

change master to master_host='192.168.233.22',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1747;

start slave;

在 manager 节点上修改配置文件app1.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）

vim /etc/masterha/app1.cnf

在 manager 节点上启动 MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

tail -f /var/log/masterha/app1/manager.log

总结：

1、mha

① 作用：mysql的高可用 + 故障切换

② 核心部分：

MHA组件：manager：主要的功能：做MHA 启动、关闭管理和检测mysql各种健康状态

node：在发生故障时，尽可能的保存二进制日志，并且实现故障切换（VIP地址飘逸）

③ MHA需要配置的文件（2个）:

master ip failover:命令工具，定义的是基于VIP的检测和故障转移（VIP从master----->新的 master）

app1.conf:mha的主要配置文件，主要定义了mha的工作目录、日志

mysal二进制日志位置

使用mha的登录mysql的用户、密码使用从服务器