【MySQL】主从同步原理、分库分表

主从同步原理

1. 主从同步原理

在这里插入图片描述

在这里插入图片描述

MySQL 经常先把命令拷入硬盘的日志,再执行日志的命令,这样的好处:

  1. 日志的位置固定,拷入硬盘的开销不大;
  2. 将命令先准备好,而不是边读边执行,性能更好,不容易出错;
  3. 日志可以在合适的时机执行,还可以分发给其他的节点,这样同一份命令由一个节点读取即可;
  4. 宕机重启时,relay log 可以从 binlog 对应的位置开始读,从 relay log 对应的位置开始写入;

不是复用 redo log,职责和生命周期不同!

回答:

  • MySQL 主从复制的核心就是主节点的二进制日志 binlog (DDL 和 DML 语句的记录);
  • 主库在事务提交时,会把数据变更记录在二进制日志文件 binlog 中;
  • 从库读取主库的二进制日志文件 binlog,写入到从库的中继日志 relay log;
  • 从库重做中继日志中的事件,将改变反映它自己的数据。

分库分表

1. 你们项目用到过分库分表吗?

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

特点:

  1. 按照业务对数据进行分级管理、维护、监控、扩展;
  2. 在高并发下,提高磁盘 IO 和网络数据量的连接数;(不同业务可以连接不同的数据库,对应的数据库磁盘利用率提高,提高数据量的连接数,因为不会因为别的业务的繁忙而不能连接此数据库)

在这里插入图片描述

特点:

  1. 冷热数据分离;
  2. 减少 IO 过度争抢,两表互不影响(处理外键约束);
    在这里插入图片描述

特点:

  1. 很直接的方式解决了单库大数量,高并发的性能瓶颈问题;
  2. 均匀的分库提高了系统的稳定性和可用性;

路由规则:

  • 根据 id 节点取模;
  • 根据 id 节点进行范围路由,节点1(1 - 100w),节点2(100w - 200w);

在这里插入图片描述

特点:

  1. 优化单一表数据量过大而产生的性能问题;
  2. 避免 IO 争抢并减少锁数据行的几率;

新的问题和新的技术:

在这里插入图片描述

分库之后的问题:

  • 分布式事务一致性问题;
  • 跨节点关联查询;
  • 跨节点分页、排序函数;
  • 主键避重;

在这里插入图片描述

分库分表中间件:

  • mycat;
  • sharding-sphere

至于中间件怎么实现与解决的感兴趣再了解,知道这个技术可以处理即可,交给它吧~

回答:

  • 业务介绍
    1. 根据自己的简历上的项目,像一个数据量大的较大业务场景(请求较多或者业务累计量大)
    2. 达到了什么样的量级(单表 1000w 或者超过 20G)
  • 具体拆分策略
    1. 水平分库,将一个库的数据拆分到多个库中,解决海量数据存储和高并发的问题;
    2. 水平分库,解决单库存储和性能的问题;
    3. 垂直分库,根据业务进行拆分,高并发下提高磁盘 IO 和网络连接数;
    4. 垂直分表,冷热数据分离,多表基本互不影响;
  • 基本上是以垂直分库和垂直分表为主;如果业务需要,再在垂直拆分的基础上做水平拆分;
    发下提高磁盘 IO 和网络连接数;**
    4. 垂直分表,冷热数据分离,多表基本互不影响;
  • 基本上是以垂直分库和垂直分表为主;如果业务需要,再在垂直拆分的基础上做水平拆分;
  • 而我觉得还是以垂直分库、垂直分表根据适合此业务场景;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/497152.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android 9.0 系统开启和关闭黑白模式主题功能实现

1. 概述 在9.0的rom系统开发定制化中,在系统SystemUI的下拉状态栏中,产品开发功能需求要求添加黑白模式功能开关的功能,就是打开黑白模式,系统颜色就会变成黑白颜色, 关闭黑白模式开关系统就会变成彩色模式,所以就需要了解下系统是怎么设置黑白模式和彩色模式的,然后添…

基于频率增强的数据增广的视觉语言导航方法(VLN论文阅读)

基于频率增强的数据增广的视觉语言导航方法(VLN论文阅读) 本文提出的方法很简单,将原始图像增加其他随机图像的高频信息,得到增强的图像作为新的样本,与原始的样本交替训练。背后的动机是,vln模型对高频信息…

nginx之重写功能 模块指令 防盗链

一 重写功能 rewrite Nginx服务器利用 ngx_http_rewrite_module 模块解析和处理rewrite请求, 此功能依靠 PCRE(perl compatible regular expression),因此编译之前要安装PCRE库,rewrite是 nginx服务器的重要功能之一,重写功…

【重要公告】BSV区块链协会全新推出“网络访问规则NAR”

​​发表时间:2024年2月15日 BSV区块链协会正式宣布已为BSV区块链推出一套全新的网络访问规则(Network Access Rules,以下简称“NAR”)。 NAR是一整套规则,用于规范BSV协会与BSV网络节点之间的关系。它基于比特币最初…

云计算与大数据课程笔记(一)云计算背景与介绍

如何实现一个简易搜索引擎? 实现一个简易的搜索引擎可以分为几个基本步骤:数据收集(爬虫)、数据处理(索引)、查询处理和结果呈现。下面是一个概括的实现流程: 1. 数据收集(爬虫&am…

SpringCloud Eureka(注册中心)

一、spring cloud简介 spring cloud 为开发人员提供了快速构建分布式系统的一些工具,包括配置管理、服务发现、断路器、路由、微代理、事件总线、全局锁、决策竞选、分布式会话等等。它运行环境简单,可以在开发人员的电脑上跑。另外说明spring cloud是基…

论文笔记:A survey on zero knowledge range proofs and applications

https://link.springer.com/article/10.1007/s42452-019-0989-z 描述了构建零知识区间证明(ZKRP)的不同策略,例如2001年Boudot提出的方案;2008年Camenisch等人提出的方案;以及2017年提出的Bulletproofs。 Introducti…

Vue <script setup>

目录 基本语法 顶层的绑定会被暴露给模板 响应式 使用组件 动态组件 递归组件 命名空间组件 使用自定义指令 defineProps() 和 defineEmits() 针对类型的 props/emit 声明 使用类型声明时的默认 props 值 顶层 await 限制 <script setup> 是在单文件组件 (S…

第二周opencv

一、边缘检测算子 边缘检测算子是用于检测图像中物体边界的工具。边缘通常表示图像中灰度值或颜色发生显著变化的地方。边缘检测有助于识别图像中的物体形状、轮廓和结构。这些算子通过分析图像的灰度或颜色梯度来确定图像中的边缘。 1、Roberts 算子 通过局部差分计算检测边缘…

【物联网应用案例】智能农业应用案例

随着物联网 (IoT) 的广泛应用&#xff0c;各种互联设备已经深度融入我们的生活&#xff0c;涵盖了健康与健身、家庭自动化、物流运输以及智慧城市和工业物联网等多个领域。因此&#xff0c;将物联网、联网设备和自动化技术应用于农业&#xff0c;是十分符合时代发展需求的&…

基于vue-office实现docx、xlsx、pdf文件的在线预览

概述 在做项目的时候会遇到docx、xlsx、pdf等文件的在线预览需求&#xff0c;实现此需求可以有多种解决方式&#xff0c;本文基于vue-office实现纯前端的文件预览。 效果 如下图&#xff0c;分别为docx、xlsx、pdf三种类型的文件在线加载后的效果。你也可以访问官方预览网址…

达梦数据库把日志数据按天统计不同状态的数据,实现字段行转列与根据id分组

1、这是日志表记录的数据&#xff0c;现在需要统计出每个app_id各个警告类型alarm_type的总数 2、先实现行转列&#xff0c;把三个alarm_type值转成列字段 SQL select app_id,count(CASE WHEN alarm_typeconcurrency THEN 1 ELSE null END) AS currentCount,count(CASE WHEN …