Day44-sersync企业实时复制实战

Day44-sersync企业实时复制实战

  • 1. sersync实时复制工具介绍
    • 1.1 sersync工具简介
    • 1.2 sersync特点
    • 1.3 sersync图解原理
    • 1.4 sersync+rsync实时复制方案项目实践
      • 1.4.1 图解项目方案架构及实现原理
      • 1.4.2 确保远程数据传输服务部署完成
      • 1.4.3 检查当前系统nfs01是否支持inotify实时监控
      • 1.4.4 在nfs01安装配置sersync
      • 1.4.5 解压配置
      • 1.4.6 配置文件讲解及修改配置
      • 1.4.7 启动sersync
      • 1.4.8 配置：systemctl start sersync启动方案
  • 2. 企业案例
    • 2.1 问题一
    • 2.2 大型企业级高并发文件实时复制方案
    • 2.3 企业级解决 NFS 存储实时复制案例
    • 2.4 更多网站后端存储解决方案
  • 3. rsync多实例

1. sersync实时复制工具介绍

1.1 sersync工具简介

Sersync项目利用inotify与rsync技术实现对服务器数据实时复制的解决方案，其中inotify用于监控sersync所在服务器上文件系统的事件变化，当事件发生变化时就调用rsync命令将变化的数据复制到远端服务器上。

1.2 sersync特点

sersync项目特点是：

  • 使用c++编写，支持对监控的事件过滤功能。
  • sersync采用xml配置文件，然后由守护进程启动，配置起来比inotify-tools更简单。
  • 使用多线程进行复制，即可以并发复制多个不同文件。
  • sersync自带出错处理机制，通过失败队列对出错的文件重新复制。
  • sersync自带crontab功能，可实现对失败队列中的文件定时整体复制。
  • sersync自带socket与http的协议扩展，可以满足有特殊需求的公司二次开发。

1.3 sersync图解原理

在这里插入图片描述

如上图所示:
1、inotify监控指定目录对应事件的变化，当有事件变化时进入事件过滤队列。

2、过滤队列负责过滤不需要复制的数据，也可以过滤短时间内产生的重复inotify事件信息，过滤过的事件触发rsync对变化数据执行复制。

3、图中线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒复制线程，当队列中inotify事件较多的时候，复制线程就会被全部唤醒一起工作提升复制的效率。

4、除了线程组线程外，还有sersync服务线程，负责处理复制失败的文件，将他们再次复制，对于再次复制失败的文件(命令)记录到rsync_fail_log.sh 脚本，然后定期在执行脚本，同时利用自带的cron功能，实现每隔一定时间，将所有未复制的数据在进行整体复制。

1.4 sersync+rsync实时复制方案项目实践

1.4.1 图解项目方案架构及实现原理

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.4.2 确保远程数据传输服务部署完成

大前提rsyncdaemon服务配置成功，可以在rsync客户端推送拉取数据，然后才能配置inotify服务。

确保已经配置好rsync服务，并且能在客户端推送和拉取数据信息：

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.3 检查当前系统nfs01是否支持inotify实时监控

通过检查/proc/sys/fs/inotify目中是否存在以下三个文件，可以确认系统是否支持实时监控程序。

[root@nfs01 ~]# uname -r
3.10.0-957.1.3.el7.x86_64  #<==内核是3.10，支持inotify机制。
[root@nfs01 ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_queued_events
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_instances
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_watches

1.4.4 在nfs01安装配置sersync

mkdir /server/tools
cd /server/tools
wget https://github.com/wsgzao/sersync/blob/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

1.4.5 解压配置

[root@nfs01 tools]# tar xf sersync_oldboy_64bit_20160928.tar.gz 
sersync_oldboy_64bit_20160928.tar.gz
[root@nfs01 tools]# tree application/
application/
└── sersync├── bin│   └── sersync├── conf│   ├── confxml.xml│   └── confxml.xml.ori├── logs│   └── rsync_fail_log.sh└── readme.txt
[root@nfs01 tools]# mv application /
[root@nfs01 tools]# tree /application/
/application/
└── sersync├── bin│   └── sersync├── conf│   ├── confxml.xml│   └── confxml.xml.ori├── logs│   └── rsync_fail_log.sh└── readme.txt4 directories, 5 files

1.4.6 配置文件讲解及修改配置

请对比新老配置查看修改的内容

sersync配置文件：干两件事：
1）完成监控配置：

inotifywait -mrq -e createFolder,close_write,delete,moveFrom,moveTo /data

2）完整命令拼接：

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.7 启动sersync

[root@nfs01 /application/sersync/conf]# ../bin/sersync -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________[root@nfs01 conf]# echo 50000000 > /proc/sys/fs/inotify/max_user_watches
[root@nfs01 conf]# echo 327679 > /proc/sys/fs/inotify/max_queued_events[root@nfs01 conf]# /application/sersync/bin/sersync -r -o /application/sersync/conf/confxml.xml -dcd /data && rsync -artuz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 [root@nfs01 ~]# pstree -a -p 1918
sersync,1918 -r -o /application/sersync/conf/confxml.xml -d├─{sersync},1924├─{sersync},1925├─{sersync},1926├─{sersync},1927├─{sersync},1928├─{sersync},1929├─{sersync},1930├─{sersync},1931├─{sersync},1932├─{sersync},1933└─{sersync},1934#同步过程
rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5764   5760  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5765   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5766   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5767   5765  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5768   5766  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5771   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5772   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5773   5771  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5774   5772  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5778   2254  0 11:00 pts/0    00:00:00 grep --color=auto sync
root       5779   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=1

最终

/application/sersync/bin/sersync -d
pkill sersync

二进制程序，不是yum安装的，所以不能systemctl start sersync

1.4.8 配置：systemctl start sersync启动方案

https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# tail -1 /etc/rc.local
/application/sersync/bin/sersync -d

配置：systemctl start sersync启动方案
https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconf
# ig: 2345 21 81
# description: rsync service start and stop scripts
# Author: oldboy
# Organization: www.oldboyedu.comstart(){/application/sersync/bin/sersync -d -o /application/sersync/conf/confxml.xml &>/dev/null
}
stop(){killall sersync 2>/dev/null
}
case "$1" instart)start;;stop)stop;;restart)stopsleep 2start;;*)echo $"Usage:$0 {start|stop|restart}"exit 1
esac

练习脚本启动：

chmod +x /etc/rc.d/init.d/sersync/etc/init.d/sersync stop
ps -ef|grep sync/etc/init.d/sersync start
ps -ef|grep sync

写一个启动脚本：使用service sersyc start/stop启动停止。
解答：

/etc/init.d/sersync start
/etc/init.d/sersync stop[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconfig: 2345 21 81   ###实现开机启动顺序以及在哪些级别上开机启动。
# description: rsync service start and stop scriptsservice sersync stop/start

C7:

[root@nfs01 /data]# cat /usr/lib/systemd/system/sersync.service
[Unit]
Description=sersyncd service
After=network.target[Service]
Type=forking           
ExecStart=/etc/rc.d/init.d/sersync start   
ExecReload=/etc/rc.d/init.d/sersync restart
ExecStop=/etc/rc.d/init.d/sersync stop     
PrivateTmp=true[Install]
WantedBy=multi-user.targetchmod +x /usr/lib/systemd/system/sersync.service[root@nfs01 /data]# systemctl enable sersync.service
Created symlink from /etc/systemd/system/multi-user.target.wants/sersync.service to /usr/lib/systemd/system/sersync.service.[root@nfs01 /data]# systemctl status sersync.service
● sersync.service - sersyncd serviceLoaded: loaded (/usr/lib/systemd/system/sersync.service; enabled; vendor preset: disabled)Active: inactive (dead)[root@nfs01 /data]# systemctl stop sersync
[root@nfs01 /data]# ps -ef|grep sersync|grep -v grep
[root@nfs01 /data]# systemctl start sersync

2. 企业案例

2.1 问题一

挂载的盘有将近24t，里面有200G数据，都是tomcat用到的数据，nfs服务器磁盘容量是24t，tomcat服务器里面跑着4个tomcat服务，他们昨天通过jenkins部署代码，控制台输出信息是超时，在排查时，发现tomcat服务器虽然现实挂载nfs服务器的24t硬盘，但是往里面无法写数据，ls就是夯住没反应，后来是重新挂载才解决的，但是有时候就是莫名其妙的夯住。

分析：

  1. 数据是太大。
  2. 挂载参数有问题。
  3. 网络连接不稳定,
  4. 服务器压力大
  5. 架构错误（站点目录挂载NFS上了），这样不行。

解决办法：

  1. 还用NFS,但要调整架构，例如动静分离、读写分离。
  2. 更换分布式文件系统
  3. 注意CDN的使用，看看命中率，想法提高命中。
  4. 还可以弃用NFS，读取本地方案,

2.2 大型企业级高并发文件实时复制方案

除了本文讲解的数据实时复制方案外，其实，企业运维工作中还有很多的方案，例如：

  1. inotify(sersync)+rsync复制方案是文件级别的复制，优点：简单、易用，缺点：速度不快。
  2. drbd复制方案是文件系统级别复制，基于block块进行复制，优点：速度快，缺点：主节点工作时，备节点数据处于不可使用状态。
  3. 借用第三方软件的复制功能复制文件：例如：mysql复制（主从复制），oracle，mongodb自身的复制工具。
  4. 在业务上开发程序双写不同的服务器，即直接写两台服务器。
  5. 应用服务器写一台，在写日志（消息队列），利用异步方式复制。

对于复制延迟的问题，可以利用产品业务逻辑解决（例如：读写分离，备读不到读主）。

2.3 企业级解决 NFS 存储实时复制案例

  1. 有些网友觉得NFS性能不高，其实在共享存储时，可以使用读写分离的方案，即用户上传时把文件传到NFS上，这部分写的并发要比读小很多，可能写读比只有 1:20。
  2. 然后借用 inotify(sersync)+rsync方案把NFS上数据实时复制到Web服务器本地(静态服务器)
  3. Web 服务直接读本地的目录实时复制过来的文件，如果本地没有，再去NFS共享上读文件，缓解延迟带来的问题。
  4. 经过实测，inotify(sersync)+rsync方案单进程多线程可以处理并发200个100K左右的文件，而不会延迟，当然还可以开多进程，拆分监控不同的二级目录。

2.4 更多网站后端存储解决方案

  1. 使用CDN加速以及内网搭建文件缓存服务(squid,nginx,varnish)减轻存储压力。
  2. 把多个文件目录分配到不同的NFS服务器上，相当于把NFS服务器拆分多台。
  3. 弃用NFS方案
  4. 使用分布式文件系统（例如：FastDFS、Mfs）

3. rsync多实例

rsync --config=/etc/rsyncd01.conf --daemon  #用于nfs实时复制
rsync --config=/etc/rsyncd02.conf --daemon  #用于定时备份

通过指定配置文件参数

--config=FILE           specify alternate rsyncd.conf file

建议：不推荐
最佳方法：把www uid和rsync一样。

[root@backup ~]# cat /etc/rsyncd.conf
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync
gid = rsync
use chroot = no
fake  super  = yes
max connections = 200
timeout = 600 
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = true
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = 所有服务器定时任务备份
path = /backup/[data]
uid = www
gid = www
comment = 存储NFS实时复制数据
path = /data/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/542517.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据结构之链式二叉树

数据结构之链式二叉树

当我们初步了解二叉树后 我们就可以进一步去深入学习二叉树了 1.链式二叉树的遍历 这里我们先去定义链式二叉树的结构 分为两个指针 一左一右 他们分别指向左子树和右子树 typedef int BTDataType;typedef struct BinaryTreeNode {BTDataType data;struct BinartTreeNod…
阅读更多...
emment语法

emment语法

文章目录 1. 生成普通的标签2. 生成 div类名3. 生成指定标签类名/id 值4. 生成带有子元素的标签5. 生成内部文本6. 一次可以生成多个标签7. 生成带有指定属性 的元素8. 生成相邻兄弟元素 1. 生成普通的标签 本质使用的就是元素选择器&#xff0c;例如 div p a 标签等等。 2. …
阅读更多...
Machine Vision Technology：Lecture3 Edge detection | Fitting

Machine Vision Technology：Lecture3 Edge detection | Fitting

Machine Vision Technology&#xff1a;Lecture3 Edge detection | Fitting Finite difference filters有限差分滤波器Effects of noise噪声对边缘检测影响Derivative theorem of convolution卷积的导数定理Derivative of Gaussian filter高斯滤波器的导数Smoothing vs. deriva…
阅读更多...
Mybatis(搭建，CRUD，方法参数，XML映射文件，动态SQL)【详解】

Mybatis(搭建，CRUD，方法参数，XML映射文件，动态SQL)【详解】

目录 一.准备基础代码 Mybatis的通用配置 二. 基本CURD操作 1.查询-根据id查询一条 2.查询-查询数量 3.删除 4.新增 获取主键值 5.修改 6.查询-模糊查询 预编译SQL #{}与${}的区别【面试题】 三. Mybatis的方法参数与结果集 1.SQL里取方法参数的值 2.查询结果集…
阅读更多...
win10虚拟机安装驱动教程

win10虚拟机安装驱动教程

在虚拟机菜单栏中选择安装VMware Tools&#xff1a; 安装好后&#xff0c;在虚拟机中打开此电脑&#xff0c;双击DVD驱动器进行安装&#xff1a; 一直点击下一步&#xff1a; 安装完成&#xff1a; 此时重启虚拟机&#xff0c;发面小屏幕页面的虚拟机自动占满了全部屏幕&#x…
阅读更多...
空气源热泵、地源热泵和水源热泵三种热泵的优缺点和选型比较

空气源热泵、地源热泵和水源热泵三种热泵的优缺点和选型比较

空气源热泵 空气源热泵是由电动机驱动的，利用空气中的热量作为低温热源，经过空调冷凝器或蒸发器进行热交换，然后通过循环系统，提取或释放热能，利用机组循环系统将能量转移到建筑物内用户需求。 1、适用范围广：适用温度范围在-7至40℃,并且一年四季全天候使用，不受阴、…
阅读更多...
力扣209. 长度最小的子数组

力扣209. 长度最小的子数组

思路&#xff1a;题目是 数组和 > target&#xff0c;不是等于target 双指针法&#xff1a;用for循环中的 r 来界定右边界的下标&#xff0c;右边界每移动一位&#xff0c;左边界可能需要移动多位&#xff0c;所以内部再用while, 当满足 数组和>target时&#xff0c;记录…
阅读更多...
LabVIEW电液伺服作动器

LabVIEW电液伺服作动器

LabVIEW电液伺服作动器 随着工业自动化技术的快速发展&#xff0c;电液伺服作动器在各类精密控制领域得到了广泛应用。基于CRIO架构&#xff0c;利用LabVIEW软件开发了一套电液伺服作动器测控系统&#xff0c;实现了高精度的位移同步控制与测量&#xff0c;有效提高了系统的控…
阅读更多...
论文阅读：FCB-SwinV2 Transformer for Polyp Segmentation

论文阅读：FCB-SwinV2 Transformer for Polyp Segmentation

这是对FCBFormer的改进&#xff0c;我的关于FCBFormer的论文阅读笔记&#xff1a;论文阅读FCN-Transformer Feature Fusion for PolypSegmentation-CSDN博客 1&#xff0c;整体结构 依然是一个双分支结构&#xff0c;总体结构如下&#xff1a; 其中一个是全卷积分支&#xff…
阅读更多...
动漫人物和泉纱雾404源码

动漫人物和泉纱雾404源码

动漫人物和泉纱雾404源码&#xff0c;源码由HTMLCSSJS组成&#xff0c;记事本打开源码文件可以进行内容文字之类的修改&#xff0c;双击html文件可以本地运行效果&#xff0c;也可以上传到服务器里面&#xff0c;重定向这个界面 下载地址 动漫人物和泉纱雾404源码
阅读更多...
基于直方图均衡化的图像去雾算法，Matlab实现

基于直方图均衡化的图像去雾算法，Matlab实现

博主简介&#xff1a; 专注、专一于Matlab图像处理学习、交流&#xff0c;matlab图像代码/项目合作可以联系&#xff08;QQ:3249726188&#xff09; 个人主页&#xff1a;Matlab_ImagePro-CSDN博客 原则&#xff1a;代码均由本人编写完成&#xff0c;非中介&#xff0c;提供有偿…
阅读更多...
【目标检测-数据集准备】DIOR转为yolo训练所需格式

【目标检测-数据集准备】DIOR转为yolo训练所需格式

【目标检测】DIOR遥感影像数据集&#xff0c;转为yolo系列模型训练所需格式。 标签文件位于Annotations下&#xff0c;格式为xml&#xff0c;yolo系列模型训练所需格式为txt&#xff0c;格式为 class_id x_center,y_center,w,h其中&#xff0c;train&#xff0c;text&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023