Rsync远程同步inotify监控

Rsync 简介

rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限

Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同步, 可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法, 传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制,或者与其他 SSH、Rsync 主机同步

Rsync 备份的方式

  1. 发起端:负责rsync  同步操作的客户机叫做发起端,通知服务器我要备份你的数据
  2. 备份源:负责响应来自客户机rsync   同步操作的服务器叫做备份源,需要备份的服务器
  3. 服务端:运行rsyncd服务,一般来说,需要备份的服务器
  4. 客户端:存放备份数据

Rsync 同步方式

  1. 完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地。 
  2. 差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
  3. 增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

Rsync 同步源

rsync同步源:指的就是备份操作的远程服务器,也称备份源。

如:A服务器同步B服务器的数据,B服务器就是备份源 —— 下行同步

相反就是 —— 上行同步

Rsync 常用命令选项

选项功能
-a规章模式,递归并保留对象属性,等同于-rlptgoD
-v显示同步过程信息
-z在传输过程中进行压缩
-H保留硬链接文件
-A保留ACL属性信息
–delete删除目标位置有,而同步源中没有的文件
--checksum根据对象的校验和来决定是否跳过文件

配置源的两种表达方法

格式一

用户名@主机地址::共享模块名rsync -avz backuper@192.168.10.22::wwwroot /opt/

格式二

rsync://用户名@主机地址/共享模块名rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/

Rsync 实验

本地复制

配置服务端与客户端

安装 Rsync

systemctl stop firewall
systemctl disbale firewalld
setenforce 0
yum -y install rsync

建立/etc/rsyncd.conf 配置文件

uid = root
gid = root
use chroot = yes					#禁锢在源目录
address = 192.168.10.18				#监听地址
port 873					        
#监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看log file = /var/log/rsyncd.log		#日志文件位置
pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
hosts allow = 192.168.10.0/24		#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		
#同步时不再压缩的文件类型[wwwroot]				            #共享模块名称
path = /var/www/html				#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes					    #是否为只读
auth users = backuper				#授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db	#存放账户信息的数据文件

为备份账户创建数据文件

保证所有用户对源目录/var/www/html 都有读取权限

普通同步完成

免密同步

中间加一段指定密码文件 进行免密登录
rsync -avz --password-file=/etc/server.passbackupera192.168,154.10: :wwwroot /opt

--delete选项的用法

rsync -avz -delete --password-file=/etc/server.pass ydq@20.0.0.55::wwwroot /abc

inotify简介

可以监控文件系统的变动情况,并作出通知响应

vim /etc/sysctl.conf(内核参数文件)
max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  #命令工具
inotifywait     #用于持续监控,时实输出结果
inotifywatch    #用于短期监控,任务完成后再输出结果

常用命令选项

选项功能
-m持续监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型
modify修改
create创建
move移动
delete删除

rsync+inotify实现配置

Server 端配置

修改配置文件

vim /etc/rsyncd.conf
read only = nokill (cat /var/run/rsyncd.pid)
rsync --daemon
netstat -natp |grep rsync

修改内核文件(一个优化操作)

 

Client 端配置

修改配置文件

编写触发同步脚本

vim /opt/inotify.sh#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ ydq@20.0.0.55::wwwroot"$INOTIFY_CMD | while read DIRECTORY EVENT FILE
doif [ $(pgrep rsync | wc -l) -le 0 ] ; then$RSYNC_CMDfi
done#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步,将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环,先执行监控变量,再执行while循环,
循环内容为,读取目录事件文件,如果rsync进程同步操作不存在,则执行同步操作的变量。

client 端验证

总结

优点

  • 可以时实

缺点

  • 带宽特别充裕的情况下,rsync同步的速率比scp要慢

  • 同步百万级数据,参数严格要按要求去写,不然可能导致同步失败

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/108325.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《向量数据库指南》——“插件版”向量数据库与Milvus Cloud原生向量数据库之间的区别?

我一直坚持一个观点,即并非所有基于向量的解决方案都应被统称为向量数据库,尽管它们的能力在某些方面可以与之匹敌。从我的观点来看,例如 pgvector 或 Elasticsearch,它们都是非常出色且成熟的产品,在特定场景下&#…

计算机网络的故事——确认访问用户身份的认证

确认访问用户身份的认证 HTTP使用的认证方式:BASIC认证(基本认证)、DIGEST(摘要认证)、SSL客户端认证、FormBase认证(基于表单认证)。 基于表单的认证:涉及到session管理以及cookie…

Redis——Java中的客户端和API

Java客户端 在大多数的业务实现中,我们还是使用编码去操作Redis,对于命令的学习只是知道这些数据库可以做什么操作,以及在后面学习到了Java的API之后知道什么方法对应什么命令即可。 官方推荐的Java的客户端网页链接如下: 爪哇…

2023/9/13 -- C++/QT

作业&#xff1a; 1> 将之前定义的栈类和队列类都实现成模板类 栈&#xff1a; #include <iostream> #define MAX 40 using namespace std;template <typename T> class Stack{ private:T *data;int top; public:Stack();~Stack();Stack(const Stack &ot…

uniapp 触底加载

方式一 onReachBottomDistance 缺点&#xff1a;需要整个页面滑动&#xff0c;局部滑动触发不了 { // pages.json // 路由下增加 onReachBottomDistance "path": "detailed/detailed","style": {"navigationBarTitleText": "收…

【实战详解】如何快速搭建接口自动化测试框架?Python + Requests

摘要&#xff1a; 本文主要介绍如何使用Python语言和Requests库进行接口自动化测试&#xff0c;并提供详细的代码示例和操作步骤。希望能对读者有所启发和帮助。 前言 随着移动互联网的快速发展&#xff0c;越来越多的应用程序采用Web API&#xff08;也称为RESTful API&…

WebDAV之π-Disk派盘 + BubbleUPnP

BubbleUPnP是一款功能强大的Android播放器,支持UPnP/DLNA多屏互动。它可以将手机内容投屏到电视大屏上,与家人和朋友一起共享。此外,BubbleUPnP还提供了丰富的音乐和影视资源,您可以在线搜索并播放喜欢的内容。 以下是BubbleUPnP的一些主要特点: 1. 支持Chromecast和转码…

算法:贪心---跳一跳

1、题目&#xff1a; 给你一个非负整数数组 nums &#xff0c;你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标&#xff0c;如果可以&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 2…

【ES实战】ES中关于segment的小结

文章目录 ES中关于segment的小结ES中segment相关的原理在Lucene中的产生segment的过程。&#xff08;Lucene commit过程&#xff09;ES为了实现近实时可查询做了哪些缩短数据可被搜索的等待时长增加数据的可靠性优化segment的数量 段合并自动合并强制合并 相关配置translog合并…

计算机二级知识点整理

翻到了之前准备计算机二级的笔记&#xff0c;现在给大家分享出来。 一、基本知识&#xff1a; 计算机把完成一条指令所花费的时间称为一个指令周期结构化程序设计强调的是程序的易读性boolean类型不能转为其他基本类型数据表达式是由运算符和运算对象构成的&#xff0c;#不是…

分库分表---理论

目录 一、垂直切分 1、垂直分库 2、垂直分表 3、垂直切分优缺点 二、水平切分 1、水平分库 2、水平分表 3、水平切分优缺点 三、数据分片规则 1、Hash取模分表 2、数值Range分表 3、一致性Hash算法 四、分库分表带来的问题 1、分布式事务问题 2、跨节点关联查询…

全局滚动条样式修改,elementUI table底部滚动条遮挡

/* 整个滚动条 */ ::-webkit-scrollbar {width: 15px !important;height: 15px !important; } /* 滚动条上的滚动滑块 */ ::-webkit-scrollbar-thumb {border-radius: 32px; } /* 滚动条轨道 */ ::-webkit-scrollbar-track {border-radius: 32px; }// 如果想作用组件 可以 .xxx…