postgresql数据库pg_dirtyread插件闪回技术 —— 筑梦之路

   闪回查询(Flashback Query)是一种在数据库中执行时间点查询的技术。它允许查询数据库中过去某个时间点的数据状态,并返回相应的查询结果。通常闪回查询分为表级以及行级的闪回查询。PostgreSQL数据库由于MVCC的机制,对于DML的操作,更改或者删除的元祖暂时标记为死元祖并未真正的在物理上清理,直到vacuum运行时才清理这些死元祖,这为行级的闪回查询提供了可能。

前提条件

1.延迟VACUUM,确保误操作的数据还没有被垃圾回收。
vacuum_defer_cleanup_age = 5000000  
# 延迟500万个事务再回收垃圾,误操作后在500万个事务内,如果发现了误操作,才有可能使用本文提到的方法闪回。2.记录未被freeze,确保无操作的数据,以及后面提交的事务号没有被freeze(抹去)。
vacuum_freeze_min_age = 50000000   
# 事务年龄大于5000万时,才可能被抹去事务号。3、开启事务提交时间跟踪,确保可以从xid得到事务结束的时间
track_commit_timestamp = on     
# 开启事务结束时间跟踪,开启事务结束时间跟踪后,会开辟一块共享内存区存储这个信息。

 pg_dirtyread插件

  pg_dirtyread是PostgreSQL数据库的一个扩展插件。当在PG执行了误操作SQL(如UPDATE或DELETE) 后,它可以从表中读取未被vacuum的死元祖,可用于查看意外删除或更改的受损数据,达到类似“闪回查询”的功能。pg_dirtyread基于MVCC多版本机制,通过检索查询旧版本,获取指定老版本数据,实现行级的数据还原。

使用限制

  • pg_dirtyread很好的解决了误操作导致的数据修改删除问题。但是它最大的缺点就是受制于autovacuum进程,如果autovacuum进程清理掉了死元组,pg_dirtyread就没办法工作了。所以当出现误删数据之后,需先关闭autovacuum,查询误操作的表是否已经发生了vacuum。
  • 闪回查询通常分为表级以及行级的闪回查询。pg_dirtyread目前仅只支持普通表的误DML操作(insert、update、delete)、以及DDL操作中的drop column的闪回查询,实现行级别的闪回查询。对其他DDL操作,如drop table等无法进行闪回操作。

安装插件pg_dirtyread

 

GitHub地址:https://github.com/df7cb/pg_dirtyread# 下载wget  https://github.com/df7cb/pg_dirtyread/archive/refs/tags/2.6.tar.gzcp /opt/pg_dirtyread-2.6.tar.gz /home/postgres/chown postgres:postgres /home/postgres/pg_dirtyread-2.6.tar.gzsu - postgrestar -xzvf pg_dirtyread-2.6.tar.gz
cd pg_dirtyread-2.6makemake install# 登陆数据库 安装插件postgres=# CREATE EXTENSION pg_dirtyread;
postgres=# select * from pg_available_extensions;
postgres=# \dx

 

pageinspect插件

  pageinspect模块提供函数让你从低层次观察数据库页面的内容,这对于调试目的很有用。所有这些函数只能被超级用户使用。pageinspect的源码在postgres源码包的contrib目录下,解压postgre源码包后进入对应的目录。

# 查找find / -name contrib# 登陆数据库安装插件postgres=# create extension pageinspect;
postgres=# select * from pg_available_extensions;
postgres=# \dx

 闪回案例

1. 删除闪回

-创建测试表
CREATE TABLE foo (bar bigint, baz text);  -- 测试方便,先把自动vacuum关闭掉。
ALTER TABLE foo SET (autovacuum_enabled = false, toast.autovacuum_enabled = false
);--插入数据
INSERT INTO foo VALUES (1, 'Test'), (2, 'New Test');  
--删除所有数据
DELETE FROM foo;  postgres=# select * from foo;
postgres=# SELECT * FROM pg_dirtyread('foo') as t(bar bigint, baz text);

 2. drop列闪回

CREATE TABLE ab(a text, b text);  
INSERT INTO ab VALUES ('Hello', 'World');  ALTER TABLE ab DROP COLUMN b;  
DELETE FROM ab; postgres=# select * from ab;postgres=# SELECT * FROM pg_dirtyread('ab') ab(a text, dropped_2 text);虽然b列被drop掉了,但是仍然可以读取到数据。如何指定列:
这里使用dropped_N来访问第N列,从1开始计数。局限:
由于PG删除了原始列的元数据信息,因此需要在表列名中指定正确的类型,这样才能进行少量的完整性检查。包括类型长度、类型对齐、类型修饰符,并且采取的是按值传递。

3. 基于时间点闪回

pg_xact_commit_timestamp函数:查询事务提交时间
如果只想恢复到其中的某一个时间点的数据,首先需要通过系统函数 pg_xact_commit_timestamp,得到每个元祖写入事务的提交时间(xmin)以及删除/更新事务提交时间(xmax)。加以处理后,进而实现基于时间点的闪回查询。--设置参数
track_commit_timestamp = on   --模拟数据
create table bak (id int,info text);
insert into bak values(1,'aaa'),(2,'bbb'),(3,'ccc');
delete from bak;--通过事务提交时间,查询数据历史版本
select pg_xact_commit_timestamp(xmin) as xmin_time,
pg_xact_commit_timestamp(case xmax when 0 then null else xmax end) as xmax_time,*
from pg_dirtyread('bak') as t(tableoid oid,ctid tid,xmin xid,xmax xid,cmin cid,
cmax cid,id int,info text);

根据xmin_time,xmax_time,我们可以查看每个元祖的历史版本操作,何时插入以及何时进行更新/删除的。 

闪回查询某个时间点的数据

根据事务提交顺序,逆序,逐个事务排除,逐个事务回退。其语法为:

$ts表示要查询某个表在ts这个时间点上的数据,ts指一个具体的历史时间。

A is distinct from B:表示排除A表达式与B表达式相匹配的行。 

 

支持查询被删除列的历史数据

DML误操作后,如果又发生了DDL,例如新增字段,修改字段等,只要表没有被重写(例如通过 VACUUM FULL 或 CLUSTER),pg_dirtyread支持检索删除列的内容。使用dropped_N来访问第N列,从1开始计数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/630389.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[生活][杂项] 上班党的注意事项

前言 目前是上班已经接近两年了,目前的状态是,一个人租了一个单间在上班。对于这种情况有以下几点需要注意。 钥匙问题,一定不要陷入钥匙丢失的情况!一定不要陷入钥匙丢失的情况!一定不要陷入钥匙丢失的情况&#xff…

密码学 | 椭圆曲线密码学 ECC 入门(三)

目录 7 这一切意味着什么? 8 椭圆曲线密码学的应用 9 椭圆曲线密码学的缺点 10 展望未来 ⚠️ 原文地址:A (Relatively Easy To Understand) Primer on Elliptic Curve Cryptography ⚠️ 写在前面:本文属搬运博客,自己留…

解决VirtualBox虚拟机启动失败的问题

一.出现的问题(未能启动虚拟电脑,由于物理网卡未找到) 一、错误信息分析 “未能启动虚拟电脑,由于物理网卡未找到”:这个错误通常是由于VirtualBox无法识别或连接到物理网卡造成的。可能是由于驱动程序问题、网络设置错…

用一个寓言故事讲明白KMP算法

在讲寓言故事之前,先讲一下理论的前提知识,避免有些0基础而无法理解 前提知识 首先KMP算法是指在串中,想要快速找出主串里跟我们的模板串一样的位置的一种算法,其主要是解决最普通的BF算法中主串指针回溯的问题。 BF算法就是一…

Windows Quick Suffix Classification 文件快速分拣工具 v1.0 绿色便携版

在电脑中使用的文件自动分拣软件,该软件支持自定义的配置,自动按照文件扩展名自动分拣移动文件到指定的文件夹等,本站提供的是这款软件的绿色版本。 使用说明 1.指定后缀处理并复制: 将第一个输入框输入的目录,查找第…

Linux shell 脚本基础与部署SpringCloud实战

博主介绍:✌全网粉丝5W,全栈开发工程师,从事多年软件开发,在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战,博主也曾写过优秀论文,查重率极低,在这方面有丰富的经验…

windows docker desktop==spark环境搭建

编写文件docker-compose.yml version: 3services:spark-master:image: bde2020/spark-master:3.1.1-hadoop3.2container_name: spark-masterports:- "8080:8080"- "7077:7077"- "2220:22"volumes:- F:\spark-data\m1:/dataenvironment:- INIT_D…

【软件】如何下载谷歌安装包?

1、访问谷歌浏览器官网:https://www.google.cn/chrome/index.html 2、在浏览器地址栏最后添加?standalone1,按回车,重新加载页面。页面和之前的一样,点击下载 完整地址:https://www.google.cn/chrome/index.html?…

Hotcoin4月16日上新热门资产:头部RWA技术提供方Centrifuge(CFG)

Hotcoin持续为全球600万用户发掘优质潜力资产,热门币种交易上热币。一文快速了解今日上新资产:Centrifuge(CFG) 推荐指数 8.2 交易对 CFG/USDT 交易时间 4月16日 19:00 资产赛道 RWA 项目简介 Centrifuge是一个去中心化资产融资协议,专注于释放现实世界资…

大数据------额外插件及技术------Git(完整知识点汇总)

Git 定义 它是分布式版本控制工具,主要用于管理开发过程中的源代码文件(如:Java类、xml文件、html页面等),在软件开发过程中被广泛应用 作用 代码回溯:快速回到某一代码历史版本版本切换:同一个…

快速寻找可以构建出网通信隧道的计算机

点击星标,即时接收最新推文 本文选自《内网安全攻防:红队之路》 扫描二维码五折购书 为加强内网的安全防范,安全管理员往往会限制内网计算机访问互联网,当然不同机构的限制策略是不一样的,有的完全阻断了内网计算机访问…

Docker镜像,什么是Docker镜像,Docker基本常用命令【搜索,镜像下载,镜像删除,创建容器,导入到处镜像】及其镜像的分层

docker镜像 1.1什么是镜像,镜像基础 1.1.1 镜像的简介 镜像是一种轻量级,可执行的独立软件包,也可以说是一个精简的操作系统。镜像中包含应用软件及应用软件的运行环境,具体来说镜像包含运行某个软件所需的所有内容,…