SpringBoot-接口幂等性-编程知识

幂等

幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。

幂等函数或幂等方法是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。

尤其是支付、订单等与金钱挂钩的服务，保证接口幂等性尤其重要。在实际开发中，我们需要针对不同的业务场景我们需要灵活的选择幂等性的实现方式：

对于下单等存在唯一主键的，可以使用“唯一主键方案”的方式实现。
对于更新订单状态等相关的更新场景操作，使用“乐观锁方案”实现更为简单。
对于上下游这种，下游请求上游，上游服务可以使用“下游传递唯一序列号方案”更为合理。
类似于前端重复提交、重复下单、没有唯一ID号的场景，可以通过 Token 与 Redis 配合的“防重 Token 方案”实现更为快捷。

接口幂等

在HTTP/1.1中，对幂等性进行了定义。它描述了一次和多次请求某一个资源对于资源本身应该具有同样的结果（网络超时等问题除外），即第一次请求的时候对资源产生了副作用，但是以后的多次请求都不会再对资源产生副作用。

在这里插入图片描述

为什么需要实现幂等性

1、前端重复提交表单：在填写一些表格时候，用户填写完成提交，很多时候会因网络波动没有及时对用户做出提交成功响应，致使用户认为没有成功提交，然后一直点提交按钮，这时就会发生重复提交表单请求。

2、用户恶意进行刷单：例如在实现用户投票这种功能时，如果用户针对一个用户进行重复提交投票，这样会导致接口接收到用户重复提交的投票信息，这样会使投票结果与事实严重不符。

3、接口超时重复提交：很多时候 HTTP 客户端工具都默认开启超时重试的机制，尤其是第三方调用接口时候，为了防止网络波动超时等造成的请求失败，都会添加重试机制，导致一个请求提交多次。

4、消息进行重复消费：当使用 MQ 消息中间件时候，如果发生消息中间件出现错误未及时提交消费信息，导致发生重复消费。

幂等性是为了简化客户端逻辑处理，能放置重复提交等操作，但却增加了服务端的逻辑复杂性和成本，其主要是：

把并行执行的功能改为串行执行，降低了执行效率。
增加了额外控制幂等的业务逻辑，复杂化了业务功能；

Restful API 接口的幂等性

在这里插入图片描述

实现幂等性的方案

方案一：数据库唯一主键

使用数据库唯一主键完成幂等性时需要注意的是，该主键一般来说并不是使用数据库中自增主键，而是使用分布式 ID 充当主键，这样才能能保证在分布式环境下 ID 的全局唯一性。

使用操作：插入操作，删除操作

使用限制：需要生成全局唯一主键ID

如果插入成功则标识没有重复调用接口，如果抛出主键重复异常，则标识数据库已经存在该条记录，返回错误信息到客户端
在这里插入图片描述

方案二：数据库乐观锁

只适用于“更新操作”的过程，在对应的数据表中添加一个字段，充当当前字段的版本标识。
每次对该数据库表的这条字段执行更新时，都会将该版本标识作为一个条件，值为上次待更新数据中的版本标识的值。
在这里插入图片描述
这样每次执行更新时候，都要指定要更新的版本号，如下操作就能准确更新 version=5 的信息：

UPDATE my_table SET price=price+50,version=version+1 WHERE id=1 AND version=5

上面 WHERE 后面跟着条件 id=1 AND version=5 被执行后，id=1 的 version 被更新为 6，所以如果重复执行该条 SQL 语句将不生效，因为 id=1 AND version=5 的数据已经不存在，这样就能保住更新的幂等，多次更新对结果不会产生影响。

方案三：防重 Token 令牌

针对客户端连续点击或者调用方的超时重试等
例如提交订单，此操作可以用token的机制防止重复提交。
调用方在调用接口的时候先向后端请求一个全局ID（Token），请求的时候携带这个全局ID一起请求（Token最好将其放到Headers中），后端需要对这个Token作为Key，用户信息作为Value到Redis中进行键值内容校验，如果Key存在且Value匹配就执行删除命令，然后正常执行后面的业务逻辑，如果不存在对应的key或Value不匹配就返回重复执行的错误信息。

适用：

插入操作
更新操作
删除操作

需要生成全局唯一 Token 串；
需要使用第三方组件 Redis 进行数据效验；
在这里插入图片描述
① 服务端提供获取 Token 的接口，该 Token 可以是一个序列号，也可以是一个分布式 ID 或者 UUID 串。

② 客户端调用接口获取 Token，这时候服务端会生成一个 Token 串。

③ 然后将该串存入 Redis 数据库中，以该 Token 作为 Redis 的键（注意设置过期时间）。

④ 将 Token 返回到客户端，客户端拿到后应存到表单隐藏域中。

⑤ 客户端在执行提交表单时，把 Token 存入到 Headers 中，执行业务请求带上该 Headers。

⑥ 服务端接收到请求后从 Headers 中拿到 Token，然后根据 Token 到 Redis 中查找该 key 是否存在。

⑦ 服务端根据 Redis 中是否存该 key 进行判断，如果存在就将该 key 删除，然后正常执行业务逻辑。如果不存在就抛异常，返回重复提交的错误信息。

在并发情况下，执行 Redis 查找数据与删除需要保证原子性，否则很可能在并发下无法保证幂等性。其实现方法可以使用分布式锁或者使用 Lua 表达式来注销查询与删除操作。

方案四：下游传递唯一序列号

所谓请求序列号，其实就是每次向服务端请求时候附带一个短时间内唯一不重复的序列号，该序列号可以是一个有序 ID，也可以是一个订单号，一般由下游生成，在调用上游服务端接口时附加该序列号和用于认证的 ID

当上游服务器收到请求信息后拿取该序列号和下游认证ID 进行组合，形成用于操作 Redis 的 Key，然后到 Redis 中查询是否存在对应的 Key 的键值对，根据其结果：

如果存在，就说明已经对该下游的该序列号的请求进行了业务处理，这时可以直接响应重复请求的错误信息。
如果不存在，就以该 Key 作为 Redis 的键，以下游关键信息作为存储的值（例如下游商传递的一些业务逻辑信息），将该键值对存储到 Redis 中，然后再正常执行对应的业务逻辑即可。

适用操作：

插入操作
更新操作
删除操作

要求第三方传递唯一序列号
需要使用第三方组件Redis进行数据校验
在这里插入图片描述

① 下游服务生成分布式 ID 作为序列号，然后执行请求调用上游接口，并附带“唯一序列号”与请求的“认证凭据ID”。

② 上游服务进行安全效验，检测下游传递的参数中是否存在“序列号”和“凭据ID”。

③ 上游服务到 Redis 中检测是否存在对应的“序列号”与“认证ID”组成的 Key，如果存在就抛出重复执行的异常信息，然后响应下游对应的错误信息。如果不存在就以该“序列号”和“认证ID”组合作为 Key，以下游关键信息作为 Value，进而存储到 Redis 中，然后正常执行接来来的业务逻辑。

上面步骤中插入数据到 Redis 一定要设置过期时间。这样能保证在这个时间范围内，如果重复调用接口，则能够进行判断识别。如果不设置过期时间，很可能导致数据无限量的存入 Redis，致使 Redis 不能正常工作。

业务实例

这里使用防重 Token 令牌方案，该方案能保证在不同请求动作下的幂等性，实现逻辑可以看上面写的”防重 Token 令牌”方案

1、引入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.3.4.RELEASE</version></parent><groupId>mydlq.club</groupId><artifactId>springboot-idempotent-token</artifactId><version>0.0.1</version><name>springboot-idempotent-token</name><description>Idempotent Demo</description><properties><java.version>1.8</java.version></properties><dependencies><!--springboot web--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!--springboot data redis--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-pool2</artifactId></dependency><!--lombok--><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build></project>

2、配置redis连接参数

spring:redis:ssl: falsehost: 127.0.0.1port: 6379database: 0timeout: 1000password:lettuce:pool:max-active: 100max-wait: -1min-idle: 0max-idle: 20

3、创建与验证Token工具类

@Slf4j
@Service
public class TokenUtilService{@Autowiredprivate StringRedisTemplate redisTemplate;//存入redis的token前缀private static final String IDEMPORTENT_TOKEN_PREFIX = "idempotent_token:";public String generateToken(String value){String token = UUID.randomUUID().toString();String key = IDEMPOTENT_TOKEN_PREFIX + token;redisTemplate.opsForValue().set(key,value,5,TimeUnit.MINUTES);return token;}public boolean validToken(String token,String value){//设置lua脚本，其中KEYS[1]是key，KEYS[2]是valueString script = "if redis.call('get', KEYS[1]) == KEYS[2] then return redis.call('del', KEYS[1]) else return 0 end";RedisScript<Long> redisScript = new DefaultRedisScript<>(script,Long.class);//根据key前缀拼接keyString key = IDEMPOTENT_TOKEN_PREFIX + token;//执行lau脚本Long result = redisTemplate.execute(redisScript, Arrays.asList(key, value)); // 根据返回结果判断是否成功成功匹配并删除 Redis 键值对，若果结果不为空和0，则验证通过if (result != null && result != 0L) {log.info("验证 token={},key={},value={} 成功", token, key, value);return true;}log.info("验证 token={},key={},value={} 失败", token, key, value);return false;}
}

4、创建测试的Coltroller

创建用于测试的 Controller 类，里面有获取 Token 与测试接口幂等性的接口

@Slf4j
@RestController
public class TokenController {@Autowiredprivate TokenUtilService tokenService;@GetMapping("/token")public String getToken(){/ 获取用户信息（这里使用模拟数据）// 注：这里存储该内容只是举例，其作用为辅助验证，使其验证逻辑更安全，如这里存储用户信息，其目的为:// - 1)、使用"token"验证 Redis 中是否存在对应的 Key// - 2)、使用"用户信息"验证 Redis 的 Value 是否匹配。String userInfo = "mydlq";// 获取 Token 字符串，并返回return tokenService.generateToken(userInfo);}/*** 接口幂等性测试接口** @param token 幂等 Token 串* @return 执行结果*/@PostMapping("/test")public String test(@RequestHeader(value = "token") String token) {// 获取用户信息（这里使用模拟数据）String userInfo = "mydlq";// 根据 Token 和与用户相关的信息到 Redis 验证是否存在对应的信息boolean result = tokenService.validToken(token, userInfo);// 根据验证结果响应不同信息return result ? "正常调用" : "重复调用";}
}

5、启动类

@SpringBootApplication
public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);}}

6、测试

写个测试类进行测试，多次访问同一个接口，测试是否只有第一次能否执行成功。

@Slf4j
@SpringBootTest
@RunWith(SpringRunner.class)
public class IdempotenceTest {@Autowiredprivate WebApplicationContext webApplicationContext;@Testpublic void interfaceIdempotenceTest() throws Exception {// 初始化 MockMvcMockMvc mockMvc = MockMvcBuilders.webAppContextSetup(webApplicationContext).build();// 调用获取 Token 接口String token = mockMvc.perform(MockMvcRequestBuilders.get("/token").accept(MediaType.TEXT_HTML)).andReturn().getResponse().getContentAsString();log.info("获取的 Token 串：{}", token);// 循环调用 5 次进行测试for (int i = 1; i <= 5; i++) {log.info("第{}次调用测试接口", i);// 调用验证接口并打印结果String result = mockMvc.perform(MockMvcRequestBuilders.post("/test").header("token", token).accept(MediaType.TEXT_HTML)).andReturn().getResponse().getContentAsString();log.info(result);// 结果断言if (i == 0) {Assert.assertEquals(result, "正常调用");} else {Assert.assertEquals(result, "重复调用");}}}}