MySQL 大表拆分

news/2024/9/20 2:36:28/文章来源:https://www.cnblogs.com/Yee-Q/p/18406528

概述

在实际工作中,在关系数据库(MySQL、PostgreSQL)的单表数据量上亿后,往往会出现查询和分析变慢甚至无法执行统计分析的情况。这时就需要将大表拆分为多个小表,将小表分布在多个数据库上,形成一个数据库集群。这样的话,一条 SQL 统计语句就可以在多台服务器上并发执行,然后将执行结果汇总,实现关系数据库的大数据量分析


数据库三范式

范式是具有最小冗余的表结构,三范式的概念如下所述

第一范式:如果每列都是不可再分的最小数据单元,则满足第一范式,第一范式的目标是确保每列的原子性。例如 Address 列存储地址信息,值为“中国北京市”,违背了第一范式列不可再分的原则,要满足第一范式,就需要将 Address 列拆分为 Country 列和 Ciy 列,分别存储“中国”和“北京市”

第二范式:第二范式在第一范式的基础上,规定表中的非主键列不存在对主键的部分依赖,即第二范式要求每个表都只描述一件事情。例如 Orders 表有“订单编号”,“产品编号”,“订单日期”,“产品价格”列,既包含了订单信息,也包含了产品信息,需要拆分成订单表和产品表

第三范式:满足第一范式和第二范式,并且表中的列不存在对非主键列的业务依赖。例如 Orders 表有“订单编号”,“顾客编号”,“订单日期”,“顾客姓名”列,除了主键“订单编号”,“顾客姓名”依赖于“顾客编号”,因此需要将该“顾客编号”移去

按照范围分表

按照范围分表指在某个字段上按照范围对数据进行拆分,例如将数据按照用户 ID 的范围 0-10w、10w-20w、20w-30w 分别划分到不同的数据库中。采用这种方法扩容简单,按照规划提前建好库和表即可,缺点是大部分读和写操作都会访问新的数据,造成新库压力过大


哈希取模

哈希取模指在某个字段上计算该字段的哈希值,按照其哈希值对数据进行拆分。哈希取模的具体做法是首先对 N 台服务器从 0 到 N-1 进行编号,按照自定义的哈希算法,对每个请求的哈希值都按 N 取模,得到的余数即该数据所在的服务器编号。采用该方法的好处是数据分布均衡,数据库的整体压力小,缺点是扩缩容麻烦,在扩缩容过程中需要对所有数据重新进行哈希分配和迁移


一致性哈希算法

一致性哈希算法取代传统的哈希取模,避免服务器集群数量发生变化导致哈希值失效,以致整个集群数据都需要重新分配的问题

一致性哈希算法将整个哈希空间虚拟成一个 0-2^(32-1) 的哈希环,将服务器节点和数据分别映射到哈希环上,并将对象映射到服务器节点,来实现数据在各台服务器上的哈希分
布,具体过程如下:

构建哈希环:将整个哈希空间组成一个 0-2^(32-1) 的虚拟圆环,即哈希环,如图所示

将服务器节点映射到哈希环:使用哈希函数将服务器映射到虚拟的哈希环上,一般可以使用服务器节点机器的 IP 地址或者机器名作为哈希函数的计算值。假设有 3 个服务器节点:node-0、node-1、node-2,通过哈希函数计算出服务器 IP 地址的哈希值,并将其分布在哈希环上

将数据映射到哈希环:使用相同的哈希函数计算需要存储的数据的哈希值,并将数据映射到哈希环上。假设有 4 个对象:o1、o2、o3、o4,通过哈希函数计算出对象的哈希值,并将其分布在哈希环上

将对象映射到服务器节点:找到对象的哈希值在哈希环上的位置,从该位置开始沿哈希环顺时针寻找,遇到的第 1 台服务器就是该对象的存储节点服务器,将该对象映射
到该服务器上。如图所示,对象 o1 被映射到 cs1 上,对象 o2 被映射到 cs2 上,对象 o3 被映射到 cs1 上,对象 o4 被映射到 cs3 上

传统的哈希取模,当服务器有变动(增加节点或移除节点)时,整个系统的哈希值都会失效(因为服务器的数量发生了变化,即被除数发生了变化),从而需要重新计算哈希值,并进行哈希映射和数据分布。而一致性哈希在服务器发生变动时,由于对象的数据分布只与顺时针方向的下一台服务器相关,因此只会影响所变化节点的下一个节点的数据分布

移除节点:假设某台服务器宕机,受影响的对象仅仅是原本映射到该服务器的对象,根据一致性哈希顺时针数据映射的原则,只需将原本映射到该服务器上的对象重新映射到下一个正常的服务器即可。例如 cs1 宕机,只需将 o1 重新映射到 cs3 即可

添加节点:添加节点,受影响的数据仅是新节点到沿逆时针方向的第一个节点之间的对象,将这些对象重新映射到新加入的节点即可。例如在 cs1 和 cs2 之间加入新节点 cs3,cs3 位于 o1 和 o3 之间,只需要将 o3 重新映射到 cs3 即可

一致性哈希算法不能保证数据的绝对平衡,在集群对象数据较少的情况下,对象并不能被均匀映射到各个节点上。为了解决数据分布不均的问题,一致性哈希算法引入“虚拟节点”的概念。虚拟节点是实际节点在哈希空间中的副本,一个实际节点对应若干虚拟节点,对应的个数也被称为副本个数,虚拟节点在哈希空间中以哈希值排列。在引入虚拟节点后,映射关系就从对象到节点转换为从对象到虚拟节点

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/797628.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

条件编译 - 代码裁剪的工具 --进阶C语言

目录条件编译 - 代码裁剪的工具为何要有条件编译条件编译都在那些地方用?见一见条件编译的代码宏是否被定义 vs 宏是否为真or假编译器也能够自动帮你加上宏GCCVS2023-VS2019#ifdef/#ifndef#if注意事项让#if和#ifdef/#ifndef完全一样条件编译也支持嵌套一个使用#if defined能起…

这些年没来得及学习的一些 HTML5 标签

认识并学习下还没来得及学习的一些 HTML5 标签 <ruby> 标签 HTML <ruby> 元素被用来展示东亚文字注音或字符注释。 比如: <ruby>兄弟<rt>xiongdi</rt></ruby><rt> 元素包含字符的发音,字符在 ruby 注解中出现,它用于描述东亚字符的…

软件工程第二次作业

这个作业属于哪个课程 https://edu.cnblogs.com/campus/fzu/SE2024这个作业要求在哪里 https://edu.cnblogs.com/campus/fzu/SE2024/homework/13253这个作业的目标 变大变强学号 102201542项目名称:e了个mo github作业仓库链接:(https://github.com/zqh666nb/e-mo) !!!运行ma…

win11 nimi主机安装软路由

硬件 带两个LAN口的mini主机 软件 win11家庭版 openwrt一 安装hyper-v虚拟机 由于是win11家庭版,启用或关闭 Windows 功能里没有hyper-v win11家庭版启用Hyper-V的方法 创建脚本pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.…

帝国cms认证码怎么取消

取消帝国CMS中的认证码(也称为验证码),可以通过以下几种方法来实现: 1. 通过后台设置取消 如果你只是想在某些特定的操作中取消认证码,比如在会员注册、登录或后台管理时不需要验证码,可以尝试通过后台设置来取消:登录后台:登录帝国CMS的后台管理系统。进入系统设置:在…

dedecms修改文档标题最大长度

在DedeCMS中修改文档标题的最大长度可以通过以下几种方法实现: 方法一:通过后台设置登录后台:登录到DedeCMS的后台管理系统。进入系统设置:在后台管理界面,找到“系统”->“系统基本参数”。修改文档标题长度:在“系统基本参数”设置中,找到“其他选项”->“文档标…

织梦在导航栏下拉菜单中怎么调用当前栏目子类

在织梦CMS (DEDECMS) 中,要在导航栏的下拉菜单中调用当前栏目的子类,可以使用channelartlist标签来实现。下面是如何实现这一功能的具体步骤: 步骤 1: 使用channelartlist标签 在织梦CMS中,可以利用channelartlist标签来调用当前栏目的子类。下面是一个示例代码:<ul>…

帝国cms怎么上传图片

在帝国CMS中上传图片可以通过多种方式实现,具体取决于你是想在文章中插入图片还是批量上传图片到服务器。下面是两种常见的上传图片的方法: 1. 在文章编辑时上传图片 当你在撰写或编辑文章时,可以直接上传图片并插入到文章内容中:登录后台:登录帝国CMS的后台管理系统。进入…

c#委托事件订阅模型

namespace WinFormsApp2 {delegate void ShowName(object sender);//声明委托类型,委托类型可以理解为一类方法的类型 ,如此处的showbuttonname方法便是符合showName类型public partial class Form1 : Form{private event ShowName btnclick; //声明事件,此处相当于实例…

织梦cms调取栏目高亮特殊样式的限制字节方法

在织梦CMS中,如果你想要调取栏目并且为当前访问的栏目添加高亮显示效果,同时限制字节数,可以采用以下方法: 方法一:使用runphp 如果你熟悉PHP编程,可以通过在模板中使用runphp标签来实现这一功能。不过需要注意的是,runphp标签的使用可能会带来一定的安全隐患,因为它允…

dede怎么添加自定义属性

在DedeCMS中添加自定义属性可以通过修改数据库表来实现。以下是具体的步骤:登录数据库管理工具:登录到你的数据库管理工具,如phpMyAdmin。修改dede_archives表:寻找dede_archives表,并打开其结构。 找到flag字段,这是一个枚举类型字段,用于存储文档的一些标志。 编辑fla…

帝国cms标签模板在哪下载

帝国CMS的标签模板可以从多个途径下载:帝国CMS官方网站:访问帝国CMS的官方网站:在导航栏中找到“模板”选项,浏览并下载所需的模板。注意,标签模板通常是以 .et 为后缀的文件。第三方模板市场:一些第三方模板市场也提供帝国CMS的模板下载,例如 TemplateMonster、ThemeFo…