Redis - 附近商铺、用户签到、UV统计

文章目录

  • 附近商铺、用户签到、UV统计
  • 一、附近商铺
    • 1.1 GEO数据结构
    • 1.2 导入店铺数据到GEO
    • 1.3 实现附近商户功能
  • 二、用户签到
    • 2.1 BitMap
    • 2.2 签到功能
    • 2.3 统计连续签到
      • 2.3.1 分析
      • 2.3.2 代码实现
  • 三、UV统计
    • 3.1 HyperLogLog用法
    • 3.2 测试百万数据的统计

附近商铺、用户签到、UV统计

一、附近商铺

底层都是基于地理坐标进行搜索，支持地理坐标的技术有很多，Redis就是其中之一

1.1 GEO数据结构

GEO就是Geolocation的简写形式，代表地理坐标。

Redis在3.2版本中加入了对GEO的支持，允许存储地理坐标信息，帮助我们根据经纬度来检索数据。常见的命令有:

  • GEOADD:添加一个地理空间信息，包含: 经度 (longitude)、纬度latitude)、值(member)

    这个值可以使任何一个东西，比如店名、数据库中的某个字段的

    image-20230708172439775

  • GEODIST:计算指定的两个点之间的距离并返回

    可以选择返回的单位，m，km等

image-20230708173048593

  • GEOHASH:将指定member的坐标转为hash字符串形式并返回

image-20230708174608759

  • GEOPOS:返回指定member的坐标

image-20230708174554656

  • GEORADIUS:指定圆心（radius）、半径，找到该圆内包含的所有member，并按照与圆心之间的距离排序后返回。6.2以后已废弃

image-20230708173454451

  • GEOSEARCH:在指定范用内搜索member，并按照与指定点之间的距离排席后返回。范用可以是圆形或矩形。6.2.新功能

可以指定我们这个key中的某个成员作为圆心，也可以直接指定经纬度作为圆心

BYRADIUS就是按照圆半径来搜索

BYBOX按照矩形来搜（指定长宽之类的）

COUNT表示查询多少条

WITHDIST表示携带距离

image-20230708173629747

  • GEOSEARCHSTORE:与GEOSEARCH功能一致，不过可以把结果存储到一个指定的key。6.2.新功能

需求

1.添加下面几条数据

—北京南站(116.378248 39.865275）

—北京站 (116.42803 39.903738 )

—北京西站(116.322287 39.893729)

GEOADD g1 116.378248 39.865275 bjn 116.42803 39.903738 bjz 116.322287 39.893729 bjx

添加进去后发现底层的数据结构是ZSET，也就是SortedSet

下图中的value就是我们填进去的member，我们存进去的地理左边转换成了下面的一串数字，作为score传进去了

image-20230708172720011

2.计算北京南站到北京西的距离

GEODIST g1 bjn bjx

image-20230708173234545

若指定单位

GEODIST g1 bjn bjx km

image-20230708173310446

3.搜索天安门(116.397904 39.909005 )附近10km内的所有火车站，并按照距离升序排序

GEOSEARCH g1 FROMLONLAT 116.397904 39.909005 BYRADIUS 10 km WITHDIST

image-20230708174414172

1.2 导入店铺数据到GEO

看一下店铺表tb_shop

image-20230708201202948

导入数据到GEO的时候并不是将所有的信息都导入，我们只需要导入经纬度坐标以及店铺id即可，店铺id充当GEO命令中的member

image-20230708201517761

我们搜索的时候有一个限制条件，根据商户的类型做过滤，但是我们并没有把商铺的类型放入到GEO里面，所以过滤不了

为了解决这个问题，我们可以采取下面的措施：

按照商户类型做分组，类型相同的商户作为同一组，以typeId为Key存入同一个GEO集合中即可

image-20230708202033899

  @Resourceprivate StringRedisTemplate stringRedisTemplate;@Testvoid loadShopData() {
//      TODO 1. 查询所有店铺信息List<Shop> list = shopService.list();
//      TODO 2. 把店铺分组，按照typeId分组，id一致的放到一个集合Map<Long, List<Shop>> map = list.stream().collect(Collectors.groupingBy(shop -> shop.getTypeId()));
//      TODO 3. 分批完成存储写入Redisfor (Map.Entry<Long, List<Shop>> entry : map.entrySet()) {
//          TODO 3.1 获取类型idLong typeId = entry.getKey();String key = "shop:geo:" + typeId;
//          TODO 3.2 获取同类型的店铺集合List<Shop> value = entry.getValue();
//          TODO 3.3 写入Redis GEOADD key 经度 纬度 member
//          方法1：效率比较低，不采用
//            for (Shop shop : value) {
//              坐标我们可以一个个指定，也可以直接new一个Point对象
//              stringRedisTemplate.opsForGeo().add(key,new Point(shop.getX(),shop.getY()),shop.getId().toString());
//              方法2：
//            }
//          方法2List<RedisGeoCommands.GeoLocation<String>> locations = new ArrayList<>();for (Shop shop : value) {
//          下面泛型的类型是member的类型locations.add(new RedisGeoCommands.GeoLocation<>(shop.getId().toString(),new Point(shop.getX(), shop.getY())));}
//          批量操作stringRedisTemplate.opsForGeo().add(key,locations);}}

结果图：

image-20230708210546113

image-20230708210531242

1.3 实现附近商户功能

我们使用的Springboot版本不是最新的，那对应的SpringDataRedis的版本也不是最新的

SpringDataRedis的2.3.9版本并不支持Redis 6.2提供的GEOSEARCH命令，因此我们需要提示其版本，修改Pom文件

可以下载一个插件：Dependency Analyzer

        <!--修改其中的版本--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId><exclusions><exclusion><groupId>org.springframework.data</groupId><artifactId>spring-data-redis</artifactId></exclusion><exclusion><groupId>io.lettuce</groupId><artifactId>lettuce-core</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-redis</artifactId><!--使用2.6.2也可以--><version>2.7.11</version></dependency><dependency><groupId>io.lettuce</groupId><artifactId>lettuce-core</artifactId><version>6.1.10.RELEASE</version></dependency>

接口分析图

image-20230708201517761

Controller层

    /*** 根据商铺类型分页查询商铺信息* @param typeId 商铺类型* @param current 页码* @return 商铺列表*/@GetMapping("/of/type")public Result queryShopByType(@RequestParam("typeId") Integer typeId,@RequestParam(value = "current", defaultValue = "1") Integer current,@RequestParam(value = "x",required = false) Double x,@RequestParam(value = "y",required = false) Double y) {return shopService.queryShopByType(typeId,current,x,y);}

Service层

 @Overridepublic Result queryShopByType(Integer typeId, Integer current, Double x, Double y) {
//      TODO 1.判断是否需要根据坐标查询if (x == null || y == null) {//不需要坐标查询，按数据库查询Page<Shop> page = query().eq("type_id", typeId)
//                   SystemConstants.DEFAULT_PAGE_SIZE)==5.page(new Page<>(current, SystemConstants.DEFAULT_PAGE_SIZE));// 返回数据return Result.ok(page.getRecords());}//      TODO 2.计算分页参数
//      从哪开始int from = (current-1)*SystemConstants.DEFAULT_PAGE_SIZE;
//      从哪结束int end = current*SystemConstants.DEFAULT_PAGE_SIZE;//      TODO 3.查询redis，按照距离排序、分页。结果：shopId和distanceString key = "shop:geo:"+typeId;GeoResults<RedisGeoCommands.GeoLocation<String>> results = stringRedisTemplate.opsForGeo()
//              GEOSEARCH key FROMLONLAT x y BYRADIUS 10 km WITHDIST
//              第一个参数是key，第二个参数是圆心,第三个参数是半径,我们选择半径5000米以内的.search(key, GeoReference.fromCoordinate(x, y), new Distance(5000),RedisGeoCommands.GeoSearchCommandArgs.newGeoSearchArgs()
//                              这个参数代表WITHDIST.includeDistance()
//                               表示第一条数据到第end条数据.limit(end));
//      TODO 4.解析出ShopIDif(results==null){return Result.ok();}List<GeoResult<RedisGeoCommands.GeoLocation<String>>> list = results.getContent();if (list.size()<from){
//            因为我们下面要执行skip操作，如果list集合中元素小于from的话，会出现sql异常return Result.ok(Collections.emptyList());}
//      TODO 4.1 截取从from到end的数据List<Long> ids = new ArrayList<>(list.size());Map<String,Distance> distanceMap = new HashMap<>(list.size());list.stream().skip(from).forEach(result->{
//          TODO 4.2 获取店铺idString shopIdStr = result.getContent().getName();ids.add(Long.valueOf(shopIdStr));
//          TODO 4.3 获取距离Distance distance = result.getDistance();distanceMap.put(shopIdStr,distance);});
//      TODO 5.根据id查询Shop
//      依然要保证有序String idStr = StrUtil.join(",", ids);List<Shop> shops = query().in("id", ids).last("order by FIELD(id," + idStr + ")").list();for (Shop shop : shops) {shop.setDistance(distanceMap.get(shop.getId().toString()).getValue());}
//      TODO 6.返回return Result.ok(shops);}

根据距离排名的效果图

image-20230708225322683

二、用户签到

2.1 BitMap

假如我们用一张表来存储用户签到信息，其结构如下所示

image-20230709124051725

假如1000万用户，平均每人没你那签到次数为10次，则这张表一年的数据量为1亿条，记录量非常大。

我们可以按月来统计用户签到信息，签到记录为1，未签到则记录为0。然后从第一天开始，依次的把0或1记录下来，一个月的签到状况就用一个二进制的数字串给表现出来了

image-20230709124755811

把每一个bit位对应当月的每一天，形成了映射关系。

用0和1表示业务状态，这种思路称为位图（BitMap）

Redis中是利用String类型数据结构实现BitMap，因此最大上限是512M，转换为bit则是2^32个bit位

BitMap的操作命令有:

SETBIT:向指定位置 (offset,角标从0开始)存入一个0或1

如果我们不设置值的话，默认就是零，所以签到的时候存入1，不签到的时候不存也行

image-20230709130912961

GETBIT:获取指定位置 (offset)的bit值

image-20230709131235360

BITCOUNT: 统计BitMap中值为1的bit位的数量

BITFIELD:操作(查询、修改、自增)BitMap中bit数组中的指定位置 (offset)的值

GET type offset 中的type表示读取多少位，几个bit位，其还需要指定返回的结果是有符号的还是无符号的，因为最终的返回结果是以十进制返回

带符号的话，第一个“1”或者“0”就代表着符号位

带符号： GET i

不带符号： GET u

假如说不带符号获取两个bit,并且从0开始获取：GET u2 0

image-20230709131622779

BITFIELD_RO:获取BitMap中bit数组，并以十进制形式返回

BITOP: 将多个BitMap的结果做位运算(与、或、异或)

BITPOS:查找bit数组中指定范围内第一个0或1出现的位置

2.2 签到功能

需求：实现签到接口，将当前用户当天签到信息保存到Redis中

image-20230709132618657

提示：因为BitMap底层是基于String数据结构，因此其操作也都封装在字符串相关操作中了

Controller层

@PostMapping("/sign")
public Result sign(){return userService.sign();
}

Service层

//  用户签到功能@Overridepublic Result sign() {
//      TODO 1.获取当前登录用户Long userId = UserHolder.getUser().getId();//      TODO 2.获取日期LocalDateTime now = LocalDateTime.now();//      TODO 3.拼接keyString keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));String key = "sign:"+userId+keySuffix;
//      TODO 4.今天是本月第几天，就向那个bit位存值int dayOfMonth = now.getDayOfMonth();
//      TODO 5.写入Redis SETBIT key offset 0/1stringRedisTemplate.opsForValue().setBit(key,dayOfMonth-1,true);return Result.ok();}

image-20230709134817856

从左往右数，今天是9号

image-20230709135057528

2.3 统计连续签到

2.3.1 分析

统计总的签到次数不复杂，但是统计截止到今天为止的连续签到次数较为复杂

连续签到天数：从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。

image-20230709140030369

怎么获取到本月到今天为止的所有签到数据？


BITFIELD key GET u[dataOfMonth] 0

命令可以帮助我们获取到指定范围内的所有数据

如何逐个bit位从后向前遍历？

与1做与运算，就能得到最后一个bit位

与1做与运算，只有两个都是1，最终结果才是1

image-20230709140625931

随后右移动一位，下一个bit位就成为了最后一个bit位，继续运算

image-20230709140706681

2.3.2 代码实现

需求：实现下面接口，统计当前用户截止当前时间在本月的连续签到天数

image-20230709140848766

Controller层

@GetMapping("/sign/count")
public Result signCount(){return userService.signCount();
}

Service层

    //  获取连续签到天数@Overridepublic Result signCount() {//      1.获取当前登录用户Long userId = UserHolder.getUser().getId();
//      2.获取日期LocalDateTime now = LocalDateTime.now();
//      3.拼接keyString keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));String key = "sign:" + userId + keySuffix;
//      4.今天是本月第几天，就向那个bit位存值int dayOfMonth = now.getDayOfMonth();
//      TODO 5.获取本月截止今天为止的所有签到记录(返回的是一个十进制的数字)
//      因为可以同时执行查询、修改、自增功能，那这样的话返回值也会有多个，所以最终是一个list集合List<Long> result = stringRedisTemplate.opsForValue().bitField(key,
//              BitFieldSubCommands.create() 创建子命令BitFieldSubCommands.create()
//                      unsigned无符号， dayOfMonth表示截取多少bit位.get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth))
//                       表示从0开始查.valueAt(0));if (result == null || result.isEmpty()) {return Result.ok(0);}
//      我们这只执行了查询，所以集合中只有一个元素Long num = result.get(0);if (num == null || num == 0) {return Result.ok(0);}
//      TODO 6.循环遍历int count =0;while (true) {
//          TODO 6.1 数字与1做与运算，得到数字的最后一个bit位
//          TODO 6.2 判断这个bit位是否为0if ((num & 1) == 0) {
//              TODO 6.3如果为0，说明未签到，结束break;} else {
//             TODO 6.4如果不为0，说明已签到，计数器+1count++;}//          TODO 6.5把数字右移动一位，抛弃最后一个bit位，继续下一个bit位
//          先右移一位，在赋值给numnum >>>=1;}return Result.ok(count);}

image-20230709152009586

三、UV统计

首先我们搞懂两个概念:

UV:全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。

PV:全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

PV往往比UV大很多

PV/UV可以看出网站的用户粘度如何

UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中，数据量会非常恐怖

理想的方案就是使用HyperLogLog

3.1 HyperLogLog用法

Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。

相关算法原理大家可以参考: https://juejin.cn/post/6844903785744056333#heading-0

Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指!

作为代价，其测量结果是概率性的，有小于0.81%的误差。不过对于UV统计来说，这完全可以忽略。

三个命令

  • **PFADD key element [element …]**插入元素

    插入五个元素.

    不管加入多少重复元素，他只记录一次。天生适合做UV统计

PFADD hl1 e1 e2 e3 e4 e5

image-20230709160212368

  • **PFCOUNT key [key …]**统计总量
FCOUNT hl1

image-20230709160224696

  • PFMERGE destkey sourcekey [sourcekey …]

image-20230709160239609

3.2 测试百万数据的统计

直接利用单元测试，向HyperLogLog中天际100万条数据，看看内存占用和统计效果如何：

@Test
void testHyperLogLog() {String[] values = new String[1000];int j = 0;for (int i = 0; i < 1000000; i++) {j = i % 1000;values[j] = "user_" + i;if(j == 999){// 发送到RedisstringRedisTemplate.opsForHyperLogLog().add("hl2", values);}}// 统计数量Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2");System.out.println("count = " + count);
}

但是最终返回结果是997593，误差还是可以的

image-20230709164309821

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/14770.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

系统架构设计师-软件工程（3）

系统架构设计师-软件工程（3）

一、软件系统建模 1、结构化建模方法 结构化建模方法是以过程为中心的技术&#xff0c;可用于分析一个现有系统以及定义新系统的业务需求。结构化建模方法所绘制的模型称为数据流图&#xff08;DFD&#xff09;。对于流程较为稳定的系统可考虑结构化建模方法。 2、信息工程建模…
阅读更多...
简单详细的MySQL数据库结构及yum和通用二进制安装mysql的方法

简单详细的MySQL数据库结构及yum和通用二进制安装mysql的方法

目录 mysql体系结构mysql的安装方法一&#xff0c;yum安装1&#xff0c;首先下载一个网络源仓库&#xff1a;2&#xff0c;然后安装 mysql-community-server3&#xff0c;启动mysqld 服务4&#xff0c;然后登录数据库5&#xff0c;初次登录要设置密码&#xff0c;而且不能太简单…
阅读更多...
【ROS】TF2坐标转换及实战示例

【ROS】TF2坐标转换及实战示例

Halo&#xff0c;这里是Ppeua。平时主要更新C&#xff0c;数据结构算法…感兴趣就关注我吧&#xff01;你定不会失望。 文章目录 0.ROS中的坐标转换消息包0.1 geometry_msgs/TransformStamped0.2 geometry_msgs/PointStamped1.静态坐标转换1.1导入所需功能包1.2发布方实现1.3 …
阅读更多...
【InnoDB 存储引擎】InnoDB 存储引擎的行格式，有 Compact、Redundant、Dynamic 等行格式还有它们配套实验（实验篇）

【InnoDB 存储引擎】InnoDB 存储引擎的行格式，有 Compact、Redundant、Dynamic 等行格式还有它们配套实验（实验篇）

文章目录 1 InnoDB 行记录格式&#xff08;实验&#xff09;1.1 Compact 行格式实验1.1.1 实验步骤1.1.2 分析捞出来的数据1.1.3 疑问 1.2 Redundant 行格式实验1.2.1 实验步骤1.2.2 分析捞出来的数据 1.3 CHAR 列类型的存储1.3.1 实验步骤1.3.2 分析捞出来的数据 2 参考资料 1…
阅读更多...
pnpm装包报错Run “pnpm install“ to recreate the modules directory.

pnpm装包报错Run “pnpm install“ to recreate the modules directory.

一、先看报错 执行 pnpm install 装包报错 报错信息 ERR_PNPM_PUBLIC_HOIST_PATTERN_DIFF  This modules directory was created using a different public-hoist-pattern value. Run "pnpm install" to recreate the modules directory.二、解决方法 在项目根目录中…
阅读更多...
【Zabbix 监控设置】

【Zabbix 监控设置】

目录 一、添加 zbx-agent01 客户端主机1、服务端和客户端都配置时间同步2、服务端和客户端都设置 hosts 解析3、设置 zabbix 的下载源&#xff0c;安装 zabbix-agent24、修改 agent2 配置文件5、启动 zabbix-agent26、在服务端验证 zabbix-agent2 的连通性1、常用的键值 7、在 …
阅读更多...
基于云原生网关的全链路灰度实践

基于云原生网关的全链路灰度实践

作者&#xff1a; 倪海峰&#xff08;海迩&#xff09; 前言 随着企业规模的不断扩大&#xff0c;传统单体应用已很难进一步支持业务的发展&#xff0c;业务的迭代速度已经难以满足业务的增长&#xff0c;此时企业会对应用系统做微服务化的改造&#xff0c;降低业务的耦合度&…
阅读更多...
Opencv图片样本预处理

Opencv图片样本预处理

前因 最近想学学&#xff0c;OPENCV识别物体&#xff0c;但是处理图片正样本时过于繁琐&#xff0c; 遂自己开发了工具&#xff0c;来处理样本图片&#xff0c;基于QT&#xff0c;文末附下载链接 程序 功能 一共有两个功能&#xff0c;一个是处理负样本&#xff0c;一个处理…
阅读更多...
Spring Boot源码解读与原理分析（一）：项目启动流程（上）——@SpringBootApplication

Spring Boot源码解读与原理分析（一）：项目启动流程（上）——@SpringBootApplication

文章目录 〇、准备工作一、SpringBootApplication.java源码解析1.源码2.自定义注解3.组合注解4.注解ComponentScan过滤器 5.注解SpringBootConfigurationConfiguration 6.注解EnableAutoConfiguration 本文章是Spring Boot源码解读与原理分析系列博客的第一篇&#xff0c;将会介…
阅读更多...
【js小案例】视频倍数播放、计算机、待办事项管理

【js小案例】视频倍数播放、计算机、待办事项管理

视频倍数播放示例图&#xff1a; 视频倍数播放代码&#xff1a; <!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>控制视频播放速度</title> </head> <body><video id"myVideo" width&quo…
阅读更多...
10.1UEC++/UObject/UClass/UFunction/UPropret

10.1UEC++/UObject/UClass/UFunction/UPropret

1. 1.new出的对象&#xff0c;不用自己管理内存释放&#xff1b; 2.比如两个类对象指针a,b同时指向一个苹果&#xff0c;若苹果消亡&#xff0c;会将a,b同时指向空。 3.保存时&#xff0c;将工程中的actor&#xff0c;属性等能够保存在本地就是uob在发挥作用。 4.不管在ue&…
阅读更多...
机器学习25：《数据准备和特征工程-III》采样和分隔

机器学习25：《数据准备和特征工程-III》采样和分隔

目录 1.采样和分割数据 1.1 抽样简介 1.2 过滤 PII&#xff08;个人身份信息&#xff09; 2.数据不平衡 2.1 下采样和增加权重 3.数据分割示例 3.1 随机分割可能不是最好的方法 4.分割数据 5.随机化 5.1 实际考虑 5.2 散列的注意事项 6.参考文献 1.采样和分割数据-…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023