Linux下的分布式迁移工具dsync使用

一、Linux下的分布式迁移工具dsync使用

dsync 是一个在 Linux 系统上用于迁移文件和目录的工具。它可以在不同的存储设备之间进行数据同步和迁移操作。dsync 是 rsync 工具的一个衍生版本,专注于在本地文件系统之间进行数据迁移。
这里是官网:dsync

1、以下是一些关于 dsync 工具的主要特点和用法:
  1. 数据同步:dsync 可以在源和目标之间进行数据同步,确保两个位置的文件和目录内容保持一致。
  2. 增量传输:dsync 采用增量传输的方式,仅传输源和目标之间发生变化的部分。这可以大大减少传输的数据量,提高效率。
  3. 权限和时间戳保留:dsync 在文件迁移过程中可以保留文件的权限、所有者、时间戳等元数据信息。
  4. 删除文件同步:dsync 可以在目标位置删除与源位置不一致的文件和目录,确保目标位置与源位置完全一致。
  5. 递归同步:dsync 可以递归地同步整个目录结构,包括子目录和文件。
  6. 高度可定制:dsync 支持多种命令行选项和参数,可以根据需求进行灵活的配置和调整。
2、下面是 dsync 的基本用法示例:

dsync [选项] <源路径> <目标路径>

其中,<源路径> 指定源文件或目录的路径,<目标路径> 指定目标文件或目录的路径。

一些常用的选项包括:

  • -v--verbose:显示详细的输出信息。
  • -n--dry-run:模拟执行,显示将要进行的操作,而不实际执行。
  • -r--recursive:递归同步整个目录结构。
  • -u--update:仅传输源和目标之间发生变化的文件。

请注意,dsync 工具需要在 Linux 系统上安装,并且可能在不同的发行版中具有不同的安装方式。可以通过在终端中运行 man dsync 命令来获取关于 dsync 的详细帮助文档。

3、dsync sample
[root@node01 dsync]# cat dsync-sample.sh
#!/bin/bash
mpirun --allow-run-as-root -machinefile /root/hostf -mca btl_tcp_if_include eth0 --oversubscribe -np 96 dsync  /root/dsync/dsync-sample.sh  /tmp/dsync-sample.sh  |grep -v llist[root@node01 dsync]# cat /root/hostf   # 这里要注意下默认情况下执行该命令的节点会作为master节点,其余节点为worker节点
172.11.11.11
172.11.11.12
172.11.11.13
172.11.11.14
172.11.11.15

二、dsync安装

[root@node01 dsync]# cat intsall.sh
#!/bin/bash
mkdir /opt/lib/
tar zxvf /root/dsync/mvapich.tar.gz -C /opt/lib/
mkdir /opt/tool/
tar zxvf /root/dsync/spack.tar.gz -C /opt/tool/
yum install -y environment-modules
echo -e '. /opt/tool/spack/share/spack/setup-env.sh\nspack load mpifileutils\nspack load mpi' >> /root/.bashrc#### mvapich.tar.gz 和 spack.tar.gz 放到csdn资源中,安装脚本执行完后,就可以正常迁移数据了
https://download.csdn.net/download/qq_28513801/87971804

三、迁移例子

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/7181.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

七、Docker安装MySQL/Tomcat/Redis等

学习参考&#xff1a;尚硅谷Docker实战教程、Docker官网、其他优秀博客(参考过的在文章最后列出) 目录 前言一、安装步骤二、Docker安装Tomcat2.1 搜索镜像2.2 拉取镜像2.3 查看镜像2.4 启动镜像&#xff08;端口映射&#xff09;2.5 停止容器2.6 移除容器 三、Docker安装MySQL…

MATLAB文化算法

目录 文化算法 主要代码 Sphere AdjustCulture 结果 文化算法 基本概念&#xff1a;优化算法 | 详解文化算法&#xff08;附MATLAB代码&#xff09; - 知乎 不同于遗传算法只有种群进化空间&#xff0c;文化算法包含信念空间、种群空间两个进化空间&#xff0c;因此&#…

科技项目验收测试报告有什么注意事项和疑惑?

科技项目验收测试报告是一份重要的文件&#xff0c;用于评估科技项目的质量和可靠性&#xff0c;对项目的成功交付具有关键作用。在项目完成的最后阶段&#xff0c;通过对项目进行全面测试和评估&#xff0c;以确保项目符合预期的目标和需求&#xff0c;并满足用户的期望。 一…

四、构建高可用的 Eureka-Server 集群

5.1 对刚才的 eureka-server 修改配置文件 5.1.1 server-1 server:port: 8761 #为什么是 8761&#xff0c;其他端口就报错spring:application:name: eureka-server #服务名称eureka:client:fetch-registry: true #是否拉取服务列表register-with-eureka: true #是否注册自己&…

进阶2:JVM 启动参数

目录 jvm启动参数 参数分类 系统属性 功能解析 运行模式 jvm有两种运行模式 堆内存 设置堆内存 GC相关 GC 日志相关的参数 分析诊断 指定垃圾收集器相关参数 JavaAgent 什么是Java agent 常见问题 视频 前言 这堂课程不用过多的记忆&#xff0c;自身有印象即可…

[RocketMQ] Broker asyncSendMessage处理消息以及自动创建Topic (十)

asyncSendMessage方法用来处理来自producer发送的消息。 文章目录 1.asyncSendMessage异步处理单条消息2.preSend准备响应命令对象2.1 msgCheck检查并自动创建topic2.1.1 createTopicInSendMessageMethod创建普通topic2.1.2 createTopicInSendMessageBackMethod创建重试topc2.1…

TCP三次和四次握手:

内容来自思学堂&#xff1a; TCP三次握手&#xff1a;确保双方都在线上 TCP四次握手&#xff1a;处理客户端要断开连接的需求

React修改Antd组件的样式

修改默认的antd组件&#xff0c;需要使用global import React, { useState, useEffect } from react; import { Tabs, Rate, Steps } from antd; import styles from ./index.less;const Index (props) >{return (<div className{styles.class_steps}><Stepsprog…

没有BuildConfig

Android Gradle 插件8.0.0&#xff08;2023年4月&#xff09; 刚刚发现&#xff0c;新创建的一个Android项目&#xff0c;成功运行到手机上了&#xff0c;然后在代码中想使用一下BuildConfig这个类&#xff0c;发现没有&#xff0c;按以前的经验&#xff0c;项目刚创建时Build…

电子企业MES管理系统如何加强生产现场管控

随着数字化时代的到来&#xff0c;中小型电子企业面临着提升生产现场管控的挑战。为了应对这一挑战&#xff0c;许多企业开始采用MES生产管理系统。本文将探讨MES生产管理系统如何帮助电子企业加强生产现场管控&#xff0c;提高生产效率和质量。 在电子企业的生产现场&#xf…

【零基础入门学习Python---Python中Web开发基础之快速入门实践】

&#x1f680; 零基础入门学习Python&#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜…

相对位置编码(relative position representation)

最近在看wenet项目时&#xff0c;发现其用的是相对位置编码。同时在做tts时&#xff0c;发现其效果还可以&#xff0c;但是就是对于长文本的生成效果不好&#xff0c;一直在思考是什么原因导致的&#xff0c;有想到最有可能是fastspeech是的绝对位置编码问题&#xff0c;所以还…