【数据库】数据库中的检查点Checkpoint,数据落盘的重要时刻

检查点(checkpoint)

专栏内容

  • 手写数据库toadb
    本专栏主要介绍如何从零开发,开发的步骤,以及开发过程中的涉及的原理,遇到的问题等,让大家能跟上并且可以一起开发,让每个需要的人成为参与者。
    本专栏会定期更新,对应的代码也会定期更新,每个阶段的代码会打上tag,方便阶段学习。

开源贡献

  • toadb开源库

个人主页:我的主页
管理社区:开源数据库
座右铭:天行健,君子以自强不息;地势坤,君子以厚德载物.

文章目录

  • 检查点(checkpoint)
  • 前言
  • 概述
  • 问题
  • 解决方法
  • 静态检查点
  • 非静态检查点
  • 总结
  • 结尾

在这里插入图片描述

前言

随着信息技术的飞速发展,数据已经渗透到各个领域,成为现代社会最重要的资产之一。在这个大数据时代,数据库理论在数据管理、存储和处理中发挥着至关重要的作用。然而,很多读者可能对数据库理论感到困惑,不知道如何选择合适的数据库,如何设计有效的数据库结构,以及如何处理和管理大量的数据。因此,本专栏旨在为读者提供一套全面、深入的数据库理论指南,帮助他们更好地理解和应用数据库技术。

数据库理论是研究如何有效地管理、存储和检索数据的学科。在现代信息化社会中,数据量呈指数级增长,如何高效地处理和管理这些数据成为一个重要的问题。同时,随着云计算、物联网、大数据等新兴技术的不断发展,数据库理论的重要性日益凸显。

因此,本专栏的分享希望可以提高大家对数据库理论的认识和理解,对于感兴趣的朋友带来帮助。

概述

本文将通过一个问题,来分享什么是检查点,检查点可以带来那些好处。

问题

在本专栏的前一篇数据日志中,介绍了当系统故障时,缓冲区的脏数据就会丢失,可以通过redo、undo日志进行恢复,使数据达到一致性和完整性。

那么问题就来了:
redo和undo日志从数据库创建时,就开始记录这些日志,数据库一般都会运行很长时间,甚至数年,如果这么多日志,有可能都比数据本身还要大,在更新频繁的数据库上,日志很容易撑爆磁盘,那么如何解决这一问题呢?

解决方法

很长时间以前的日志,有些事务已经提交,而且数据已经都落盘了,其实这些日志已经没有用了,即使发生系统故障,这些日志对应的数据也不需要再恢复了,因为它们对应的数据已经持久化了。

所以我们需要找到一个时间点,在这个时间点前发生的脏页和所有日志都需要落盘,在这个时间点之后的可以不强制落盘,那么在这时间点以前的日志就可以清理掉了。

这个时间点就叫做检查点,也就是增加了一个分隔点,减少日志保存的周期和恢复的范围。

这个检查点如何来做呢? 有下面两种方式。

静态检查点

在做检查点的时候,需要保证当前的日志和脏页都要落盘,为了保证检查点落盘的过程中,不会再产生脏页和日志,需要在执行检查点动作时,数据库不能提供服务,做完检查点之后继续提供服务。

这样检查点时,对当前所有脏页和日志落盘即可,比较简单。

但是检查点在数据库业务繁忙时,也是一个相当频繁的动作,总不能频繁的中断业务吧,这还能不能行?

非静态检查点

哎,经过发展,现代数据库可以在业务运行时做检查点了,它的流程是这样的:

  • 开始检查点
  • 记录当前数据库的快照
  • 开始将比快照旧的脏页和日志落盘
  • 检查点结束

这里多了一步快照的记录,然后落盘时增加了与快照的比较,这样就保证了检查点前的都已经落盘。
当然原理这样,不同数据库的实现各不相同,比如postgresql,通过日志的lsn来记录快照,比此lsn旧的都需要落盘;

总结

检查点机制强制脏页定期落盘,缩小了日志保存的周期,同时也减少了恢复的周期。当然这个周期,需要根据业务产生日志的速率来配置,在性能和磁盘空间之间均衡,避够刷盘太快。

有菜也有肉的分享,下面插一段hello world的代码;
以下是一个简单的启动程序示例,可以在加电后从指定的加载地址开始执行,并输出 “Hello”:

ORG 0x7c00    ;指定加载地址为0x7c00start:mov ax, cs   ;将cs寄存器的值加载到ax寄存器中mov ds, ax   ;将ds寄存器的值设置为cs寄存器的值mov si, msg  ;将消息的地址存储在si寄存器中call print   ;调用print函数打印消息jmp end     ;跳转到程序结束处print:lodsb         ;将si指向的字符串中的下一个字符加载到al寄存器中or al, al   ;判断al寄存器中的值是否为0jz end      ;如果是0,跳转到程序结束处mov ah, 0x0e ;将0x0e存储在ah寄存器中,表示在屏幕上打印字符int 0x10     ;调用BIOS中断,将字符打印到屏幕上jmp print   ;继续打印下一个字符end:jmp $         ;无限循环,程序结束处msg db 'Hello', 0 ;消息以0结尾

该程序使用汇编语言编写,可以在Bochs、QEMU等模拟器上运行。程序加载后,将从地址0x7c00开始执行,输出 “Hello” 字符串,并进入无限循环。

结尾

非常感谢大家的支持,在浏览的同时别忘了留下您宝贵的评论,如果觉得值得鼓励,请点赞,收藏,我会更加努力!

作者邮箱:study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出,互相学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/209181.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JSP编写自己的第一个WebServlet实现客户端与服务端交互

我们在项目中找到java目录 下面有一个包路径 然后 我们在下面创建一个类 我这里叫 TransmissionTest 当然 名字是顺便取的 参考代码如下 package com.example.dom;import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet…

《微信小程序开发从入门到实战》学习二十五

3.3 开发创建投票页面 3.3.13 使用页面路径参数 写了很多重复代码,现在想办法将多选和单选投票页面合二为一。 将单选页面改造作为单选多选共同页面。 修改index.js中的代码,将路径都跳转到第一个单选页面,带上单选或多选的标志&#xff…

redis---非关系型数据库

关系数据库与非关系型数据库 redis非关系型数据库,又名缓存型数据库。数据库类型:关系型数据库和非关系型数据库关系型数据库是一 个机构化的数据库,行和列。 列:声明对象。 行:记录对象属性。 表与表之间的的关联。 sql语句&…

Nginx配置文件中的关键字是什么?详细解释来了

点击上方蓝字关注我 Nginx 是一款高性能的 Web 服务器软件,同时也是一款反向代理服务器软件。Nginx 的配置文件通常是 /etc/nginx/nginx.conf,以下是一个典型的配置文件,并对其中的关键字进行详细解释。 1. 配置文件 perlCopy codeuser ngin…

Springboot_文件下载功能(前端后端)

遇到的问题: 文件下载后文件一直被破坏,无法正常打开文件名乱码,如图 刚开始一直在纠结,是不是后端没有写对,然后导致下载不能使用 后来搜索了一些资料,发现后端没什么问题 然后就开始找到其他项目对比…

在线接口测试工具fastmock使用

1、fastmock线上数据模拟器 在平时的项目测试中,尤其是前后端分离的时候,前端人员需要测试调用后端的接口,这个时候会出现测试不方便的情况。此时我们可以使用fastmock平台在线上模拟出一个可以调用的接口,方便前端人员进行数据测…

智能监控,高效观测 IT 系统瓶颈

前言 云原生时代的监控系统贯穿于移动端、前端、业务服务端、中间件、应用层、操作系统等,渗透 IT 系统的各个环节。因此,在构建 IT 系统之初,就需要考虑如何打造一个完善的监控系统。当面临大量业务流量数据时,借助监控进行问题…

设计模式-16-Spring源码中的设计模式

1-Spring之观察者模式 Java、Google Guava都提供了观察者模式的实现框架。Java提供的框架比较简单,只包含java.util.Observable和java.util.Observer两个类。Google Guava提供的框架功能比较完善和强大:通过EventBus事件总线来实现观察者模式。实际上&am…

生成式AI与大语言模型,东软已经准备就绪

伴随着ChatGPT的火爆全球,数以百计的大语言模型也争先恐后地加入了这一战局,掀起了一场轰轰烈烈的“百模大战”。毋庸置疑的是,继方兴未艾的人工智能普及大潮之后,生成式AI与大语言模型正在全球开启新一轮生产力革新的科技浪潮。 …

python命令行交互 引导用户选择宠物

代码 以下代码将在命令行中,引导用户选择一个或者多个宠物,并反馈用户选择的宠物 # -*- coding:UTF-8 -*- """ author: dyy contact: douyaoyuan126.com time: 2023/11/22 15:19 file: 在命令行中引导用户选择宠物.py desc: xxxxxx &qu…

Primavera Unifier 项目控制延伸:Phase Gate理论:1/3

序 Phase Gate 看到Phase Gate(阶段控制)的翻译是“工艺控制流程”,不知道为什么,总有一种隔靴搔痒的感觉,我琢磨了很久,觉得应该翻译成“阶卡(qia)”。所谓“Phase”就是“阶段”…

vsphere系列 :虚拟机配置直通GPU后,启动时出现 模块“DevicePowerOn”打开电源失败 的解决方案

vsphere中的虚拟机配置直通GPU后,启动时出现 模块“DevicePowerOn”打开电源失败 的解决方案 vsphere中的虚拟机配置直通GPU后,启动时出现 模块“DevicePowerOn”打开电源失败 的解决方案1、虚拟机配置GPU直通1、打开虚拟机选项2、点击编辑配置3、添加如…