02.percona Toolkit工具pt-archiver命令实践

1.命令作用

Percona Toolkit有的32个命令,可以分为7大类
工具类别 工具命令 工具作用 备注

开发类	pt-duplicate-key-checker	列出并删除重复的索引和外键	 pt-online-schema-change	在线修改表结构	 pt-query-advisor	分析查询语句,并给出建议,有bug	已废弃pt-show-grants	规范化和打印权限	 pt-upgrade	在多个服务器上执行查询,并比较不同性能类	pt-index-usage	分析日志中索引使用情况,并出报告	 pt-pmp	为查询结果跟踪,并汇总跟踪结果	 pt-visual-explain	格式化执行计划	 pt-table-usage	分析日志中查询并分析表使用情况	pt 2.2新增命令配置类	pt-config-diff	比较配置文件和参数	 pt-mysql-summary	对mysql配置和status进行汇总	 pt-variable-advisor	分析参数,并提出建议	 监控类	pt-deadlock-logger	提取和记录mysql死锁信息	 pt-fk-error-logger	提取和记录外键信息	 pt-mext	并行查看status样本信息	 pt-query-digest	分析查询日志,并产生报告	常用命令pt-trend	按照时间段读取slow日志信息	已废弃复制类	pt-heartbeat	监控mysql复制延迟	 pt-slave-delay	设定从落后主的时间	 pt-slave-find	查找和打印所有mysql复制层级关系	 pt-slave-restart	监控salve错误,并尝试重启salve	 pt-table-checksum	校验主从复制一致性	 pt-table-sync	高效同步表数据	 系统类	
pt-diskstats	查看系统磁盘状态	 pt-fifo-split	模拟切割文件并输出	 pt-summary	收集和显示系统概况	 pt-stalk	出现问题时,收集诊断数据	 pt-sift	浏览由pt-stalk创建的文件	pt 2.2新增命令pt-ioprofile	查询进程IO并打印一个IO活动表	pt 2.2新增命令实用类	
pt-archiver	将表数据归档到另一个表或文件中	 pt-find	查找表并执行命令	 pt-kill	Kill掉符合条件的sql	常用命令pt-align	对齐其他工具的输出	pt 2.2新增命令pt-fingerprint	将查询转成密文	pt 2.2新增命令

2.数据归档实践基本使用方法

pt-archiver 是 Percona Toolkit 中的一个组件,主要用于对 MySQL 表数据进行归档和清除。它可以将数据归档到另一台服务器上的另一张表,或者归档到一个文件中,文件可以使用 LOAD DATA INFILE 进行数据装载。

2.1.归档到文件

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2020-01-01' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

常用选项

  • --source: 指定需要进行归档操作的表,使用 DSN 方式表示。
  • --dest: 指定要归档到的目标端表,使用 DSN 方式表示。
  • --where: 指定通过 WHERE 条件语句指定需要归档的数据。
  • --file: 指定表数据需要归档到的文件。
  • --limit: 指定每条语句获取表和归档表的行数。
  • --commit-each: 指定按每次获取和归档的行数进行提交。
  • --bulk-delete: 使用单个 DELETE 语句删除 chunk 的方式来批量删除行。
  • --bulk-insert: 使用 LOAD DATA LOCAL INFILE 的方法,通过批量插入的方式来插入行。
  • --progress: 指定每多少行打印进度信息。
  • --run-time: 指定工具归档操作在退出之前需要运行的时间。
  • --no-delete: 指定不删除已被归档的表数据。
  • --charset-A: 指定连接字符集。

例子:

原始表数据如下:

pt-archiver --source h=127.0.0.1,P=3306,u=root,p='123456',D=lewei,t=role \
--where "modifiedDate >= '2020-01-01' and modifiedDate < '2024-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

特别注意:语句中 \  是不能删除的。

执行后:

表中还剩几条数据。

导出的文件:

2.2.归档到另一张表并删除原表数据(不删除的话加上 --no-delete) 

 

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--dest h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table_bak \
--where "create_time >= '2020-12-31' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--bulk-insert

这个命令会将数据归档到 database 数据库中的 table_bak 表,并从原表中删除这些数据。

2.3.只删除数据

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2021-01-01' and create_time < '2021-01-02'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--purge \
--primary-key-only

这个命令只会删除 database 数据库中 table 表里 create_time 在 2021-01-01 到 2021-01-02 之间的数据。

3.注意事项

  • 确保源表和目标表具有相同的结构。
  • 如果使用 --bulk-insert 选项,确保目标数据库有足够的权限和资源来创建临时表并执行批量插入。
  • 使用 pt-archiver 时,建议在低峰时段进行,以减少对生产环境的影响。
  • 归档操作可能需要一定的时间,特别是处理大量数据时。确保有足够的时间和资源来完成操作。
  • 在执行删除操作之前,确保备份了所有重要数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/564303.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

隐私计算实训营学习四:SecretFlow的安装和部署

文章目录 一、SecretFlow安装二、SecretFolw部署模式简介三、SecretFlow部署-仿真模式四、SecretFlow部署-生产模式 一、SecretFlow安装 SecretFlow运行要求&#xff1a; Python > 3.8操作系统&#xff1a;CentOS7、Anolis8、Ubuntu 18.04/20.04、macOS 11.1、WSL2资源&am…

Camera入门基础知识

一、camera介绍 1.1 camera硬件组成 camera一般由Lens、VCM音圈马达、底座支架、Sensor、Driver IC、output interface组成。如下图: 这里面要注意的是有些摄像头模组有VCM,有些则没有,有些output interface输出的是CSI信号,有的输出的是串行信号,需要接解串器。…

Linux的一些基本指令

​​​​​​​ 目录 前言&#xff1a; 1.以指令的形式登录 2.ls指令 语法&#xff1a; 功能&#xff1a; 常用选项&#xff1a; 3.pwd指令 4.cd指令 4.1 绝对路径与相对路径 4.2 cd .与cd ..&#xff08;注意cd后先空格&#xff0c;然后两个点是连一起的&#xff0…

post请求

写代码&#xff0c;看官网 因post请求数据是2种情况&#xff0c;一种传参数&#xff0c;一种不传参数 所以先定义变量 写判断条件&#xff0c;逻辑是参数的长度和参数是否为空 0和不为空不好理解&#xff0c;可以使用参数长度不等于0&#xff0c;说明参数有值&#xff0c;在…

化工企业能源在线监测管理系统,智能节能助力生产

化工企业能源消耗量极大&#xff0c;其节能的空间也相对较大&#xff0c;所以需要控制能耗强度&#xff0c;保持更高的能源利用率。 化工企业能源消耗现状 1、能源管理方面 计量能源消耗时&#xff0c;计量器具存在问题&#xff0c;未能对能耗情况实施完全计量&#xff0c;有…

linux命令学习——sort

sort可以对文本文件进行“排序”&#xff0c;比如-n可以对文本&#xff0c;按照首行字母数字顺序排序 -r参数可以对排序结果进行反转 -u参数可以对查看结果去重

【C++】关联式容器——map和set

1 关联式容器 STL中我们常用的部分容器&#xff0c;比如&#xff1a;vector、list、deque、forward_list(C11)等&#xff0c;这些容器统称为序列式容器&#xff0c;因为其底层为线性序列的数据结构&#xff0c;里面存储的是元素本身。 那什么是关联式容器呢&#xff1f;它与序…

DFS基础——迷宫

迷宫 配套视频讲解 关于dfs和bfs的区别讲解。 对于上图&#xff0c;假设我们要找从1到5的最短路&#xff0c;那么我们用dfs去找&#xff0c;并且按照编号从大到小的顺序去找&#xff0c;首先找到的路径如下&#xff0c; 从节点1出发&#xff0c;我们发现节点2可以走&#xff…

Automatic Prompt Engineering

让大模型自己生成prompt&#xff0c;生成提示&#xff08;prompt&#xff09;存在两种不同的操作方式。第一种方式是在文本空间中进行&#xff0c;这种提示以离散的文本形式存在。第二种方式是将提示抽象成一个向量&#xff0c;在特征空间中进行操作&#xff0c;这种提示是抽象…

Unity学习笔记 6.2D换帧动画

下载源码 UnityPackage 目录 1.导入图片 1.1. 图片的叠放顺序 2.图片切片 3.用动画控制器让马&#x1f40e;动起来 1.导入图片 直接拖拽进场景 检查 Texture Type&#xff08;纹理类型&#xff09;是否为 Sprite 创建2D精灵对象&#xff0c;拖拽图片到Sprite&#xff08…

java 实现发送邮件功能

今天分享一篇 java 发送 QQ 邮件的功能 环境&#xff1a; jdk 1.8 springboot 2.6.3 maven 3.9.6 邮件功能依赖&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId>&…

<商务世界>《第16课 餐桌礼仪之座次》

1 简要 我国自古以来就很重视座位礼仪&#xff0c;非讲究&#xff0c;分君臣、分宾主、分方位等等而今座位礼仪已经简化为&#xff1a; 以“中”为尊&#xff1a; 中心为尊&#xff0c;突出主位。 以“右”为尊&#xff1a; 从历史上到国际上都是以右为尊。 以“内”为尊&…