ShardingSphere 5.x 系列【3】分库分表中间件技术选型

有道无术,术尚可求,有术无道,止于术。

本系列Spring Boot 版本 3.1.0

本系列ShardingSphere 版本 5.4.0

源码地址:https://gitee.com/pearl-organization/study-sharding-sphere-demo

文章目录

    • 1. 前言
    • 2. My Cat
    • 3. ShardingSphere
    • 4. Dble
    • 5. Vitess
    • 6. 大厂开源
      • 6.1 Cobar
      • 6.2 Atlas
      • 6.3 Oceanus
      • 6.4 TSharding
      • 6.5 Ctrip DAL
    • 7. 总结

1. 前言

在使用分库分表时,已经有成熟的开源解决方案,接下来我们进行相关技术选型。

2. My Cat

官网地址
GitHub
码云

2013年阿里发布了Cobar,但是社区发现了一些严重问题和使用限制,于是有个第一代改良版MyCat

其原理是拦截了用户发送过来的SQL语句,首先对SQL语句做了一些特定的分析,比如分片分析、路由分析、读写分离分析、缓存分析等,然后将此SQL发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。
在这里插入图片描述
典型应用场景:

  • 读写分离,主从切换
  • 分表分库,对于超过1000万的表进行分片,最大支持1000亿的单表分片
  • 多租户应用
  • 报表系统,借助于Mycat的分表能力,处理大规模报表的统计
  • 替代Hbase,分析大数据
  • 作为海量数据实时查询的一种简单有效方案,比如100亿条频繁查询的记录需要在3秒内查询出来结果(除了基于主键的查询)

早些年间,Mycat打着阿里出品的旗号,可谓是大名鼎鼎。随着最近这些年的发展,味道越来越不对。首先是Mycat 1.0 2017年持续断更到2020,并遗留了很多Issues没有解决。
在这里插入图片描述
Mycat 2.0 最新的更新时间也停留在20226月。
在这里插入图片描述

3. ShardingSphere

官网地址
GitHub

Apache ShardingSphere 是一款分布式SQL事务和查询引擎,可通过数据分片、弹性伸缩、加密等能力对任意数据库进行增强。

发展历史

  • 2016 年,当当网发布了Sharding-JDBC 1.0版本
  • 2018 年,更名为ShardingSphere,并发布了3.0版本,支持代理端Proxy,并加入了Apache孵化器
  • 2019 年,发布4.0版本
  • 2020 年,正式成为Apache顶级项目
  • 2021 年,发布5.0版本,基于可插拔架构对内核进行了全面改造, 核心团队成立了商业公司 SphereEx (思斐软件)。

ShardingSphere 包含以下两大产品:

  • ShardingSphere-JDBC:在 JavaJDBC 层进行增强,应用程序引入jar包方式使用
  • ShardingSphere-Proxy:透明化的数据库代理端,介于应用程序与数据库之间,需要单独部署(类似于MyCat

核心功能:

  • 数据分片
  • 读写分离
  • 分布式事务
  • 数据迁移
  • 联邦查询
  • 数据加密
  • 影子库

产品优势:

  • 极致性能:驱动程序端历经长年打磨,效率接近原生 JDBC,性能极致。
  • 生态兼容:代理端支持任何通过MySQL/PostgreSQL 协议的应用访问,驱动程序端可对接任意实现 JDBC 规范的数据库。
  • 业务零侵入:面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。
  • 运维低成本:在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。
  • 安全稳定:基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。
  • 弹性扩展:具备计算、存储平滑在线扩展能力,可满足业务多变的需求。
  • 开放生态:通过多层次(内核、功能、生态)插件化能力,为用户提供可定制满足自身特殊需求的独有系统。

4. Dble

官方文档
GitHub

dble是一个用于MySQL分片的高可扩展性中间件,由上海爱可生信息技术股份有限公司出品和维护。

核心特性:

  • MySQL协议兼容
  • 高可用性,支持集群部署,避免单节点故障
  • SQL 92标准和MySQL方言支持,支持复杂的SQL查询,如group-byorder-bydistinctjoinunionsub-query
  • 复杂查询优化
  • 分布式事务支持

5. Vitess

官方网站
GitHub

VitessYoutube出品的一个开源分布式MySQL工具集,用于自动分片存储MySQL数据表,将单个SQL查询改写为分布式发送到多个MySQL Server上。

2011年以来,Vitess一直是YouTube数据库基础设施的核心组件,并已发展到包含数万个MySQL节点。

相关特性:

  • 连接池:将应用程序查询复用到MySQL连接池中,以优化性能,支持缓存和事务管理器
  • 安全性保护:查询重写和净化;支持自定义规则以防止潜在的问题查询访问数据库;终止返回数据所花费的时间过长的查询;支持ACL
  • 监控:提供性能分析工具监视、诊断和分析数据库性能;群集管理工具处理计划内和计划外故障切换
  • 分片:几乎无缝的动态重新分片,支持垂直和水平分片;多个分片方案,具有插入自定义方案的能力

Vitess目前只支持MySQLPercona Server for MySQL,对于目前国产化要求的政企项目并不友好。

6. 大厂开源

在十几年前的2010年,移动互联网、电子商务产业呈现高速发展的趋势,阿里、腾讯、58骗城、携程等互联网大厂迎来一大波起飞,数据量呈现爆炸式增长。对于核心业务数据存储的关系型数据库,在之前基本都是基于分库分表方案,它们大多都研发并开源了相应的中间件,不过这些开源基本都在多年前停止维护,大多都自研或替换为商业版分布式数据库。

下面会介绍下它们的前世今生,大家了解下即可,切勿尝试。

6.1 Cobar

GitHub
最后发版时间:2014年5月

2008年,当时就职于阿里的大佬陈思儒发布了Amoeba,并应用于阿里巴巴生产环境,Amoeba专注于MySQL分布式数据库代理层,实现了高可用、负载均衡、数据切片等功能,但不支持事务、存储过程。

之后,由于对游戏更感兴趣,大佬跳槽到了盛大,任职了高级研究员,从事相关分布式框架研究工作。
在这里插入图片描述
由于Amoeba作者的离职,阿里重新建立了分库分表项目组,并更新为Cobar,于20126月正式对外开源。

目前已知的,支付宝相关业务数据,使用的是OceanBase原生分布式数据库,运行着数十亿条不同的SQL、数据量达数百PB、服务器核数过百万。

6.2 Atlas

GitHub
最后发版时间:2015年5月

Atlas是由Qihoo 360公司基础架构团队开发维护的一个基于MySQL协议的数据中间件。在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。

Atlas2013发布,当时在360公司内部得到了广泛应用,每天承载的读写请求数达几十亿条。

360网盾发展期,针对业务爆发式增长的数据量,MySQL读写出现瓶颈,分库分表及大表改表实施困难。其核心业务总数据达到千亿级别,单表数据量 1.2~1.5 亿,查询维度包括时间维度、地域、行业、关键词等等,同时满足多样化的展示,基于MySQL的分库分表无法进行全局统计。

目前360已基于TiDB搭建了分布式数据库,完全解决了分库分表问题。

6.3 Oceanus

GitHub
最后发版时间:未发布正式版

2014年,58同城发布了数据库中间件Oceanus,致力于打造一个功能简单、可依赖、易于上手、易于扩展、易于集成的DB中间件解决方案。该项目在2015后,已经停止更新。

58集团目前完成了分库分表到TiDB的技术转型,目前,内部TiDB集群已经达到80套,涵盖的业务线包括 58 招聘、TEG、安居客、用户增长、信息安全、金融公司及车业务。

6.4 TSharding

GitHub
最后发版时间:2017年I月

TSharding是蘑菇街开源的一个分库分表解决方案,目前也已停止维护多年。

6.5 Ctrip DAL

GitHub
最后发版时间:22020年I月

2016年,作为中国在线旅游行业的翘楚,携程发布了数据库访问框架Ctrip DAL,支持代码生成和水平扩展。由携程技术中心框架部DAL团队开发,历经3年不断打磨,并在长期的实际使用中基于大量的用户反馈不断优化。开源范围包括代码生成器,Java客户端和C#客户端。

随着携程规模扩张和业务量的急剧增加,其中标签持久化场景采用了 TiDB 来存储业务持久化的标签,其他业务数据使用OceanBase(阿里自研关系型数据库)。

7. 总结

首先MyCat不考虑,被吹的太过,基本属于没人维护状态,听说该项目现在只是用来引流,加群付费,营销卖课。

Vitess国外开源,生态良好,更新频繁,但是只支持MySql,对于现在国内某些有数据库要求的产品来说,不太友好。

不是大型公司开源类的,不用考虑,现在经济形势这么差,谁也说不好能走多久,而且大部分都是给商用引流。

大厂开源类的,不用考虑,基本都是他们不玩了,然后拿出来乐呵乐呵的。

所以最后,只有一个选择,就是ShardingSphere,背靠Apache基金会,团队维护,生态和文档完整🤔🤔🤔🤔🤔🤔

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/452063.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据链路层相关知识

1.1 以太网(横跨数据链路层和物理层) 数据帧格式 数据链路层,引入另外一套地址体系,称为“mac地址” / 物理地址。(mac地址和IP地址是独立的俩套地址体系) 1.2 mac MAC 地址,即 Media Access …

ProcessSlot构建流程分析

ProcessorSlot ProcessorSlot构建流程 // com.alibaba.csp.sentinel.CtSph#lookProcessChain private Entry entryWithPriority(ResourceWrapper resourceWrapper, int count, boolean prioritized, Object... args)throws BlockException {// 省略创建 Context 的代码// 黑盒…

冻结Prompt微调LM: T5 PET

T5 paper: 2019.10 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer Task: Everything Prompt: 前缀式人工prompt Model: Encoder-Decoder Take Away: 加入前缀Prompt,所有NLP任务都可以转化为文本生成任务 T5论文的初衷如…

node-sass版本与NodeJS版本不匹配的问题

npm install 报错如下 npm ERR! code 1 npm ERR! path D:\Project\git_Product\YYYY\user\node_modules\node-sass npm ERR! command failed npm ERR! command C:\WINDOWS\system32\cmd.exe /d /s /c node scripts/build.js 问题原因 node-sass 与 node 版本不匹配 卸载Node…

【Linux取经路】进程控制——程序替换

文章目录 一、单进程版程序替换看现象二、程序替换的基本原理三、程序替换接口学习3.1 替换自己写的可执行程序3.2 第三个参数 envp 验证四、结语一、单进程版程序替换看现象 #include <stdio.h> #

VSCODE使用ssh远程连接时启动服务器失败问题

错误情况 ping服务器的ip可通并且使用terminal可以ssh连接到远程服务器。但使用vscode的remote-ssh时&#xff0c;在「输出」栏出现了一直报 Waiting for server log… 的情况&#xff01; 解决方法一 重置服务器设置&#xff0c;包括以下手段&#xff1a; 1.清理服务器端的…

Java并发基础:FutureTask全面解析!

内容概要 FutureTask结合了Future和Runnable接口&#xff0c;它能够异步执行任务&#xff0c;提高程序响应性&#xff0c;可以获取任务执行结果&#xff0c;并且支持任务取消机制&#xff0c;提高了灵活性&#xff0c;同时&#xff0c;它简化了并发编程&#xff0c;使多线程开…

深入学习《大学计算机》系列之第1章 1.6节——你真的了解计算机存储器吗

一.欢迎来到我的酒馆 第1章 1.6节&#xff0c;你真的了解计算机存储器吗。 目录 一.欢迎来到我的酒馆二.计算机存储器2.1 计算机存储器简介2.2 计算机存储器发展史2.3 计算机存储器发展史总结 三.计算机存储器分类3.1 主存储器3.2 内存3.3 缓存3.4 寄存器3.5 二级存储器3.6 存…

【C/C++ 11】贪吃蛇游戏

一、题目 贪吃蛇游戏机制是通过控制蛇上下左右移动并吃到食物得分。 蛇头碰到墙壁或者碰到蛇身就游戏结束。 食物随机生成&#xff0c;蛇吃到食物之后蛇身变长&#xff0c;蛇速加快。 二、算法 1. 初始化游戏地图并打印&#xff0c;地图的边缘是墙&#xff0c;地图的每个坐…

计算机毕业设计 基于SpringBoot的宠物爱心组织管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…

【双周赛】第123场双周赛

&#x1f525;博客主页&#xff1a; A_SHOWY&#x1f3a5;系列专栏&#xff1a;力扣刷题总结录 数据结构 云计算 数字图像处理 力扣每日一题_ 【1】三角形类型Ⅱ 100222. 三角形类型 IIhttps://leetcode.cn/problems/type-of-triangle-ii/ 简单题&#xff0c;直接过了 cl…

高级Java开发工程师岗位的基本职责(合集)

高级Java开发工程师岗位的基本职责1 职责&#xff1a; 1、负责区块链产品的研发&#xff0c;独立或与团队合作&#xff0c;按时保质完成软件开发项目; 2、参与产品系统设计、概要设计工作&#xff0c;核心功能的代码编写; 3、独立解决和指导其他同事处理开发中遇到的难点问题; …