微服务知识02

1、九大高并发解决方案

2、系统架构图​​​​​​​

3、分布式事务

本地事务、分布式事务

操作不同服务器的数据库（垂直分库）

4、分布式事务解决方案（没有seata之前）

（1）XA协议（强一致性）

（单节点 不能用集群，没有办法保证）数据库节点的解决方案

        1）2pc二阶段提交

        2）3pc三阶段提交

（2）SAGE（XA优化）

（3）TCC（类似3pc）业务解决方案（强一致性）

（4）MQ事务（最终一致性）支持事务消息

（5）本地消息表（最终一致性）

 （6）最大努力通知（MQ优化）事务发起者增加事务的校验接口（最终一致性）

5、mysql日志

Mysql主要有三种日志: Redo log、 Undo log、Binlog

undo log（回滚日志）：是 Innodb 存储引擎层生成的日志，实现了事务中的原子性，主要用于事务回滚和 MVCC。
redo log（重做日志）：是 Innodb 存储引擎层生成的日志，实现了事务中的持久性，主要用于掉电等故障恢复，事务持久化；
binlog （归档日志）：是 Server 层生成的日志，主要用于数据备份和主从复制

6、XA协议原理

        （1）2pc 二阶段提交（东西写到日志文件中）五步

缺点：性能、阻塞问题 ，可用性（订单协调者参与者，那就不能用集群[事务失效]->单节点）

、数据一致性（commit后，部分服务器异常）

        1）准备阶段

发起与处理请求

数据未提交

通知事务管理器yes/no

        2）提交阶段

事务管理器发起提交

数据库提交

（3）3pc 三阶段提交

数据库级别

缺点：可用性（单节点问题）、数据不一致（磁盘满了写入失败、同时操作、发送中断请求瞬间已经写好了）、数据库必须支持事务

准备阶段引入的超时机制

预备阶段 

 7、TCC（空回挂问题）

优点：不需要要数据库支持事务、应用程序级别的操作、并发高（可以不用加锁）

缺点：复杂（自己操作），空悬挂问题，

空回滚在没有调用TCC资源Try方法得情况下，调用了二阶段得Cancel方法，Cancel方法需要识别出这是一个空回滚，然后直接返回成功当一个分支事务所在服务宕机或者网络异常，分支事务调用记录为失败，这个时候其实还没有执行Try阶段的，当故障恢复后，分支事务进行回滚则会调用二阶段得Cancel方法，从而形成空回滚。

​​​​​​​​​​​​​​

空回滚
在没有调用TCC资源Try方法得情况下，调用了二阶段得Cancel方法，Cancel方法需要识别出这是一个空回滚，然后直接返回成功。

出现原因
当一个分支事务所在服务宕机或者网络异常，分支事务调用记录为失败，这个时候其实还没有执行Try阶段的，当故障恢复后，分支事务进行回滚则会调用二阶段得Cancel方法，从而形成空回滚。

解决思路
解决的关键就是要识别出这个空回滚。方法很简单就是需要知道一阶段是否执行，如果执行了，那就是正常回滚；如果没执行，那就是空回滚。TM在发起全局事务时会生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条。可以再额外增加一张分支事务记录表，其中有全局事务 ID 和分支事务 ID，第一阶段 Try 方法里会插入一条记录，表示一阶段执行了。Cancel 接口里读取该记录，如果该记录存在，则正常回滚；如果该记录不存在，则是空回滚。

幂等
TCC模式在Try阶段执行成功后必须保证二阶段也成功执行，所以二阶段需要有重试机制。

幂等出现原因
为了保证TCC二阶段提交重试机制不会引发数据不一致，要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等，这样不会重复使用或者释放资源。如果幂等控制没有做好，很有可能导致数据不一致等严重问题。

解决思路

在上述“分支事务记录”中增加执行状态，每次执行前都查询该状态，如果是未执行的状态则执行否则不执行。
 

悬挂
悬挂就是对于一个分布式事务，其二阶段 Cancel 接口比 Try 接口先执行。


出现原因
在 RPC(远程访问) 调用分支事务try时，先注册分支事务，再执行RPC调用，如果此时 RPC 调用的网络发生拥堵，通常 RPC 调用是有超时时间的，RPC 超时以后，TM就会通知RM回滚该分布式事务，可能回滚完成后，RPC 请求才到达参与者并且真正执行成功，而此时Try 方法才执行完成并且将所需的业务资源预留，但是此时二阶段已经完成无法对预留的资源做出处理。对于这种情况，我们就称为悬挂，即业务资源预留后没法继续处理。


解决思路
是如果二阶段执行完成，那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下，“分支事务记录”表中是否已经有二阶段事务记录，如果有则不执行Try。

8、CAP定律（分布式系统必须遵守规则）

（1）C 一致性 （在分布式接口中读取节点数据，必须保证准确性）

强一致性订单数据保存成功，库存必须更新成功（本地事务）
最终一致性
弱一致性

（2）A可用性 （分布式系统中每个请求都应该得到响应）

（3）P分区容错性（如果某个分区出现了故障系统必须还能正常对外提供服务）

9、一般是AP、CP

10、Seata

Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式

TC (Transaction Coordinator) - 事务协调者

维护全局和分支事务的状态，驱动全局事务提交或回滚。

TM (Transaction Manager) - 事务管理器

定义全局事务的范围：开始全局事务、提交或回滚全局事务。

RM (Resource Manager) - 资源管理器

管理分支事务处理的资源，与TC交谈以注册分支事务和报告分支事务的状态，并驱动分支事务提交或回滚。

 

11、Seata模式

（1）AT事务模式 （2w+并发会出bug）

基于支持本地 ACID 事务的关系型数据库

Java 应用，通过 JDBC 访问数据库

两阶段提交协议的演变：

  • 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。

  • 二阶段：

    • 提交异步化，非常快速地完成。
    • 回滚通过一阶段的回滚日志进行反向补偿。

优点：对程序侵入性小

缺点：必须支持事务，使用全局锁，性能比TCC差

原理：

（2）TCC模式

12、Seata分布式事务部署流程

（1）新建文件夹，新建文件docker-compose.yml

version: "3.1"
services:seata-server:image: seataio/seata-server:1.6.0ports:- "7091:7091"- "8091:8091"

（2）部署上去 

docker-compose  up -d

（3）复制 （容器id：固定的东西）

docker ps
docker  cp  dab3007fb00e:/seata-server/resources ./

（4）修改resources里面的application.yml

server:port: 7091
spring:application:name: seata-serverlogging:config: classpath:logback-spring.xml
console:user:username: seatapassword: seata  
seata:config:type: nacosnacos:server-addr: 10.3.142.9:8848group: SEATA_GROUPdata-id: seataServer.propertiesregistry:type: nacosnacos:application: seata-serverserver-addr: 10.3.142.9:8848group: SEATA_GROUPsecurity:secretKey: SeataSecretKey0c382ef121d778043159209298fd40bf3850a017tokenValidityInMilliseconds: 1800000ignore:urls: /,/**/*.css,/**/*.js,/**/*.html,/**/*.map,/**/*.svg,/**/*.png,/**/*.ico,/console-fe/public/**,/api/v1/auth/login

（5）启动nacos （id：8848）

（6）进入nacos配置配置中心

（7）在配置中心建一个远程配置文件 seataServer.properties

data id、Group在application.yml里面（步骤4）

transport.type=TCP
transport.server=NIO
transport.heartbeat=true
transport.enableTmClientBatchSendRequest=false
transport.enableRmClientBatchSendRequest=true
transport.enableTcServerBatchSendResponse=false
transport.rpcRmRequestTimeout=30000
transport.rpcTmRequestTimeout=30000
transport.rpcTcRequestTimeout=30000
transport.threadFactory.bossThreadPrefix=NettyBoss
transport.threadFactory.workerThreadPrefix=NettyServerNIOWorker
transport.threadFactory.serverExecutorThreadPrefix=NettyServerBizHandler
transport.threadFactory.shareBossWorker=false
transport.threadFactory.clientSelectorThreadPrefix=NettyClientSelector
transport.threadFactory.clientSelectorThreadSize=1
transport.threadFactory.clientWorkerThreadPrefix=NettyClientWorkerThread
transport.threadFactory.bossThreadSize=1
transport.threadFactory.workerThreadSize=default
transport.shutdown.wait=3
transport.serialization=seata
transport.compressor=none
# 声明事务组
service.vgroupMapping.order_tx_group=default
#service.vgroupMapping.member_tx_group=default
# service.vgroupMapping.coupon_tx_group=defaultservice.disableGlobalTransaction=falseclient.metadataMaxAgeMs=30000
#Transaction rule configuration, only for the client
client.rm.asyncCommitBufferLimit=10000
client.rm.lock.retryInterval=10
client.rm.lock.retryTimes=30
client.rm.lock.retryPolicyBranchRollbackOnConflict=true
client.rm.reportRetryCount=5
client.rm.tableMetaCheckEnable=true
client.rm.tableMetaCheckerInterval=60000
client.rm.sqlParserType=druid
client.rm.reportSuccessEnable=false
client.rm.sagaBranchRegisterEnable=false
client.rm.sagaJsonParser=fastjson
client.rm.tccActionInterceptorOrder=-2147482648
client.rm.sqlParserType=druid
client.tm.commitRetryCount=5
client.tm.rollbackRetryCount=5
client.tm.defaultGlobalTransactionTimeout=60000
client.tm.degradeCheck=false
client.tm.degradeCheckAllowTimes=10
client.tm.degradeCheckPeriod=2000
client.tm.interceptorOrder=-2147482648
client.undo.dataValidation=true
client.undo.logSerialization=jackson
client.undo.onlyCareUpdateColumns=true
server.undo.logSaveDays=7
server.undo.logDeletePeriod=86400000
client.undo.logTable=undo_log
client.undo.compress.enable=true
client.undo.compress.type=zip
client.undo.compress.threshold=64k
#For TCC transaction mode
tcc.fence.logTableName=tcc_fence_log
tcc.fence.cleanPeriod=1h
# You can choose from the following options: fastjson, jackson, gson
tcc.contextJsonParserType=fastjson#Log rule configuration, for client and server
log.exceptionRate=100store.mode=db
store.lock.mode=db
store.session.mode=dbstore.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.cj.jdbc.Driver
store.db.url=jdbc:mysql://10.3.142.9:3307/seata-server?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai&useSSL=false&allowPublicKeyRetrieval=true
store.db.user=root
store.db.password=root
store.db.minConn=5
store.db.maxConn=30
store.db.globalTable=global_table
store.db.branchTable=branch_table
store.db.distributedLockTable=distributed_lock
store.db.queryLimit=100
store.db.lockTable=lock_table
store.db.maxWait=5000#Transaction rule configuration, only for the server
server.recovery.committingRetryPeriod=1000
server.recovery.asynCommittingRetryPeriod=1000
server.recovery.rollbackingRetryPeriod=1000
server.recovery.timeoutRetryPeriod=1000
server.maxCommitRetryTimeout=-1
server.maxRollbackRetryTimeout=-1
server.rollbackRetryTimeoutUnlockEnable=false
server.distributedLockExpireTime=10000
server.session.branchAsyncQueueSize=5000
server.session.enableBranchAsyncRemove=false
server.enableParallelRequestHandle=true
server.enableParallelHandleBranch=false
server.applicationDataLimit=64000
server.applicationDataLimitCheck=falseserver.raft.server-addr=127.0.0.1:7091,127.0.0.1:7092,127.0.0.1:7093
server.raft.snapshotInterval=600
server.raft.applyBatch=32
server.raft.maxAppendBufferSize=262144
server.raft.maxReplicatorInflightMsgs=256
server.raft.disruptorBufferSize=16384
server.raft.electionTimeoutMs=2000
server.raft.reporterEnabled=false
server.raft.reporterInitialDelay=60
server.raft.serialization=jackson
server.raft.compressor=none
server.raft.sync=true#Metrics configuration, only for the server
metrics.enabled=false
metrics.registryType=compact
metrics.exporterList=prometheus
metrics.exporterPrometheusPort=9898

  1. 1）修改事务组

image-20240223144913629

  1. 2）修改持久化模式

image-20240223150449161

（8）创建数据库mysql（或者用Docker的）

（9）连接后在里面创建数据库seata-server

-- -------------------------------- The script used when storeMode is 'db' --------------------------------
-- the table to store GlobalSession data
CREATE TABLE IF NOT EXISTS `global_table`
(`xid`                       VARCHAR(128) NOT NULL,`transaction_id`            BIGINT,`status`                    TINYINT      NOT NULL,`application_id`            VARCHAR(32),`transaction_service_group` VARCHAR(32),`transaction_name`          VARCHAR(128),`timeout`                   INT,`begin_time`                BIGINT,`application_data`          VARCHAR(2000),`gmt_create`                DATETIME,`gmt_modified`              DATETIME,PRIMARY KEY (`xid`),KEY `idx_status_gmt_modified` (`status` , `gmt_modified`),KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;-- the table to store BranchSession data
CREATE TABLE IF NOT EXISTS `branch_table`
(`branch_id`         BIGINT       NOT NULL,`xid`               VARCHAR(128) NOT NULL,`transaction_id`    BIGINT,`resource_group_id` VARCHAR(32),`resource_id`       VARCHAR(256),`branch_type`       VARCHAR(8),`status`            TINYINT,`client_id`         VARCHAR(64),`application_data`  VARCHAR(2000),`gmt_create`        DATETIME(6),`gmt_modified`      DATETIME(6),PRIMARY KEY (`branch_id`),KEY `idx_xid` (`xid`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;-- the table to store lock data
CREATE TABLE IF NOT EXISTS `lock_table`
(`row_key`        VARCHAR(128) NOT NULL,`xid`            VARCHAR(128),`transaction_id` BIGINT,`branch_id`      BIGINT       NOT NULL,`resource_id`    VARCHAR(256),`table_name`     VARCHAR(32),`pk`             VARCHAR(36),`status`         TINYINT      NOT NULL DEFAULT '0' COMMENT '0:locked ,1:rollbacking',`gmt_create`     DATETIME,`gmt_modified`   DATETIME,PRIMARY KEY (`row_key`),KEY `idx_status` (`status`),KEY `idx_branch_id` (`branch_id`),KEY `idx_xid` (`xid`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE IF NOT EXISTS `distributed_lock`
(`lock_key`       CHAR(20) NOT NULL,`lock_value`     VARCHAR(20) NOT NULL,`expire`         BIGINT,primary key (`lock_key`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('AsyncCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryRollbacking', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('TxTimeoutCheck', ' ', 0);

（10）新建docker-compose.yml

version: "3.1"
services:seata-server:image: seataio/seata-server:1.6.0ports:- "7091:7091"- "8091:8091"environment:- STORE_MODE=db- SEATA_IP=10.3.142.9- SEATA_PORT=8091volumes:# 设置容器的时间- "/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime"- "/usr/share/zoneinfo/Asia/Shanghai:/etc/timezone"  - "./resources:/seata-server/resources"

（11）先把模版的docker-compose关了

（12）把路径下的docker-compose修改为以下

version: "3.1"
services:seata-server:image: seataio/seata-server:1.6.0ports:- "7091:7091"- "8091:8091"environment:- STORE_MODE=db- SEATA_IP=10.3.142.9- SEATA_PORT=8091volumes:# 设置容器的时间- "/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime"- "/usr/share/zoneinfo/Asia/Shanghai:/etc/timezone"  - "./resources:/seata-server/resources"

（13）执行

（14）导包（用到的都要导）

<!--        分布式seata--><dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-seata</artifactId></dependency><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-bootstrap</artifactId></dependency>

（15）新建bootstrap.yml(都要导)

seata:config:type: nacosnacos:data-id: seataServer.propertiesserver-addr: "10.3.142.9:8848"group: SEATA_GROUPregistry:type: nacosnacos:application: seata-serverserver-addr: "10.3.142.9:8848"group: SEATA_GROUPservice:vgroup-mapping:order_tx_group: defaulttx-service-group: order_tx_group

(16)在每个数据库里面写undo表

-- for AT mode you must to init this sql for you business database. the seata server not need it.
CREATE TABLE IF NOT EXISTS `undo_log`
(`branch_id`     BIGINT       NOT NULL COMMENT 'branch transaction id',`xid`           VARCHAR(128) NOT NULL COMMENT 'global transaction id',`context`       VARCHAR(128) NOT NULL COMMENT 'undo_log context,such as serialization',`rollback_info` LONGBLOB     NOT NULL COMMENT 'rollback info',`log_status`    INT(11)      NOT NULL COMMENT '0:normal status,1:defense status',`log_created`   DATETIME(6)  NOT NULL COMMENT 'create datetime',`log_modified`  DATETIME(6)  NOT NULL COMMENT 'modify datetime',UNIQUE KEY `ux_undo_log` (`xid`, `branch_id`)
) ENGINE = InnoDB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8mb4 COMMENT ='AT transaction mode undo table';
ALTER TABLE `undo_log` ADD INDEX `ix_log_created` (`log_created`);

（17）引入就行

13、数据库忽略大小设置utf8mb4_general_ci

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/491096.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

12. Springboot集成Dubbo3（三）Dubbo-Admin

12. Springboot集成Dubbo3（三）Dubbo-Admin

目录 1、前言 2、安装 2.1、下载Dubbo-admin 2.2、修改配置 2.3、编译前端 2.4、访问 2.5、加载自己的服务 2.6、服务测试 2.7、其他 3、小结 1、前言 Dubbo Admin是用于管理Dubbo服务的基于Web的管理工具。Dubbo Admin提供了一个用户友好的界面&#xff0c;用于在分…
阅读更多...
在IDEA中创建vue hello-world项目

在IDEA中创建vue hello-world项目

工作中最近在接触vue前端项目，记录一下从0搭建一个vue hello world项目的步骤 1、本地电脑安装配置node、npm D:\Project\vue\hello-world>node -v v14.21.3 D:\Project\vue\hello-world>npm -v 6.14.18 D:\Project\vue\hello-world> 2、设置npm国内淘宝的景象 …
阅读更多...
MySQL-基本使用，数据类型，简单操作

MySQL-基本使用，数据类型，简单操作

1. 数据库概述 1.1 数据库(DatBase) 数据库&#xff0c;就是遵循一定数据格式的数据集合&#xff0c;可以认为他是对文件系统的改进。它解决了不同操作系统之间&#xff0c;数据格式的兼容性问题。也就是说&#xff0c;只要是同一个数据库的数据文件&#xff0c;即使从windows迁…
阅读更多...
基于springboot+vue的租房管理系统(前后端分离)

基于springboot+vue的租房管理系统(前后端分离)

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战&#xff0c;欢迎高校老师\讲师\同行交流合作 ​主要内容&#xff1a;毕业设计(Javaweb项目|小程序|Pyt…
阅读更多...
第三方认证中心跳转

第三方认证中心跳转

一、业务需求 由第三方认证中心将 token 放在 header (请求头) 中跳转系统&#xff0c;前端获取到第三方系统携带 header 中的 token。 二、 业务流程 模拟第三方应用 CUSTOM-USERTOKEN 是第三方的 tokenproxy_pass 是我们的前端地址 server {listen 12345;server_name loca…
阅读更多...
前端导出下载文件后提示无法打开文件

前端导出下载文件后提示无法打开文件

问题 项目中的导出文件功能&#xff0c;导出下载后的文件打开提示如下&#xff1a; 原因 对返回的响应数据进行打印&#xff0c;发现响应数据为字符串格式&#xff0c;前期规划的后端返回数据应该 blob 对象的。后经排查后发现是请求头缺少了响应数据格式的配置&#xff0c;应…
阅读更多...
python 循环语句 while 循环

python 循环语句 while 循环

while循环 Python 编程中 while 语句用于循环执行程序&#xff0c;即在某条件下&#xff0c;循环执行某段程序&#xff0c;以处理需要重复处理的相同任务。其基本形式为&#xff1a; while 判断条件(condition)&#xff1a; 执行语句(statements)…… 执行语句可以是单个语句…
阅读更多...
【GameFramework框架内置模块】3、数据表（Data Table）

【GameFramework框架内置模块】3、数据表（Data Table）

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址 大家好&#xff0c;我是佛系工程师☆恬静的小魔龙☆&#xff0c;不定时更新Unity开发技巧&#xff0c;觉得有用记得一键三连哦。 一、前言 【GameFramework框架】系列教程目录&#xff1a; https://blog.csdn.net/q7…
阅读更多...
Python爬虫实战：图片爬取与保存

Python爬虫实战：图片爬取与保存

引言&#xff1a; 在本文中&#xff0c;我们将学习如何使用Python创建一个简单的图片爬虫。 我们将利用requests库来发送HTTP请求&#xff0c;BeautifulSoup库来解析HTML页面&#xff0c;以及os和shutil库来下载和保存图片。通过这个教程&#xff0c;你将学会如何爬取网…
阅读更多...
16.沙箱里的秩序——外观模式

16.沙箱里的秩序——外观模式

然后&#xff0c;冯诺伊曼又用三名士兵构建了与非门、或非门、异或门、同或门和三态门&#xff0c;最后只用两名士兵构建了最简单的非门&#xff0c;出总是举与入颜色相反的旗。 冯:诺伊曼对皇帝鞠躬说:“现在&#xff0c;陛下&#xff0c;所有的门部件都已演示完毕&#xff0c…
阅读更多...
【Java程序员面试专栏 算法思维】五 高频面试算法题：贪心算法

【Java程序员面试专栏 算法思维】五 高频面试算法题：贪心算法

一轮的算法训练完成后，对相关的题目有了一个初步理解了，接下来进行专题训练，以下这些题目就是汇总的高频题目，本篇主要聊聊贪心算法，所以放到一篇Blog中集中练习 题目关键字解题思路时间空间买卖股票的最佳时机 II贪心算法遍历整个股票交易日价格列表 price，并执行贪心策…
阅读更多...
力扣随笔之移除元素（简单27）

力扣随笔之移除元素（简单27）

思路&#xff1a;定义一个指针left&#xff0c;使该指针及该指针左边的数全部都不等于val&#xff0c;定义一个遍历指针i&#xff0c;若nums[i] val&#xff0c;则i自加&#xff0c;若nums[i] ! val&#xff0c;则将left&#xff0c;并将nums[i]的值赋给nums[left]&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023