redis布隆过滤器（Bloom）详细使用教程

文章目录

  • 布隆过滤器
    • 1. 原理
    • 2. 结构和操作
    • 3. 特点和应用场景
    • 4. 缺点和注意事项
  • 应用-redis插件布隆过滤器使用详细过程
    • 安装以及配置
    • springboot项目使用redis布隆过滤器
      • 下面是布隆过滤器的一些基础命令
    • 扩展

布隆过滤器

Bloom 过滤器是一种概率型数据结构，用于快速判断一个元素是否属于一个集合。它以较小的空间占用和高效的查询时间著称。下面将对 Bloom 过滤器进行详细阐述。

1. 原理

Bloom 过滤器基于哈希函数和位数组实现。它的核心思想是使用多个哈希函数将元素映射到位数组中，并将对应的位设置为1。当查询一个元素时，通过对该元素进行相同的哈希计算，检查对应的位是否都为1。如果其中有任何一位为0，则可以确定该元素不在集合中；如果所有位都为1，则该元素可能在集合中，但并不确定，存在一定的概率误判。

2. 结构和操作

  • 位数组（Bit Array）：Bloom 过滤器使用一个固定长度的位数组来表示集合，并初始化为全0。每个元素通过多个哈希函数映射到位数组上的多个位置。
  • 哈希函数（Hash Function）：Bloom 过滤器使用多个独立的哈希函数，每个哈希函数可以将一个元素映射到位数组的不同位置。常用的哈希函数包括 MurmurHash、FnvHash、SHA 等。
  • 添加元素（Add Element）：当向 Bloom 过滤器中添加一个元素时，将该元素经过多个哈希函数的计算得到的位置对应的位设置为1。
  • 查询元素（Query Element）：当查询一个元素时，通过多个哈希函数计算出对应的位置，并检查这些位置上的位是否都为1。如果有任何一位为0，则可以确定该元素不在集合中；如果所有位都为1，则该元素可能在集合中。

3. 特点和应用场景

  • 空间效率高：Bloom 过滤器使用位数组表示集合，所需的内存空间相对较小，与集合大小无关。
  • 查询效率高：由于只需计算多个哈希函数并检查位数组上的位，查询时间较短，通常为常数时间复杂度。
  • 概率误判：Bloom 过滤器在判断一个元素不在集合中时，永远是准确的；但在判断一个元素在集合中时，存在一定的概率误判。误判率取决于哈希函数的个数和位数组的大小。
  • 应用场景：Bloom 过滤器适用于需要快速判断元素是否属于一个大规模集合的场景，如网页爬虫中的 URL 去重、缓存穿透的防护、垃圾邮件过滤等。

4. 缺点和注意事项

  • 无法删除元素：Bloom 过滤器的位数组一旦被置为1，就无法撤销。因此，无法从 Bloom 过滤器中删除元素。
  • 哈希函数选择：选择合适的哈希函数和哈希函数的数量非常重要。哈希函数应具有较低的冲突率，并且应该尽量使用独立性较强的哈希函数。
  • 误判率：误判率取决于哈希函数的个数和位数组的大小。通过调整这些参数可以降低误判率，但也会增加空间占用和查询时间。
  • 适用范围：Bloom 过滤器适用于对查询时间和空间占用有较高要求，而对概率误判可以接受的场景。在对精确性要求较高的情况下，Bloom 过滤器可能不适用。

总而言之，Bloom 过滤器是一种高效的概率型数据结构，通过位数组和多个哈希函数实现快速的集合元素判断。它在一些特定的应用场景中具有很大的优势，但需要注意选择合适的哈希函数和参数设置，以及理解概率误判的特性。

应用-redis插件布隆过滤器使用详细过程

安装以及配置

布隆过滤器有很多，我这里用的redis提供的布隆过滤器，这次使用的是用docker安装的redis以及配置布隆过滤器

1. 首先下载布隆过滤器这个插件

wget https://github.com/RedisLabsModules/rebloom/archive/v2.2.6.tar.gz

下载以后解压备用一会等着放到redis中
2.docker安装redis
首先创建文件夹以及配置文件，用于挂在redis启动的后容器中的文件，方便我们在容器外部操作redis的配置
创建文件夹

mkdir data  ##创建文件
touch redis.conf  ## 创建文件

在创建完文件夹以后将我们第一步中下载并解压好的布隆过滤器的文件夹放到我们创建的data文件夹下
在这里插入图片描述
在我们创建的redis.conf文件中添加一行配置loadmodule /data/RedisBloom-2.2.6/redisbloom.so
在这里插入图片描述

随后直接使用dokcer run命令进行启动，如果没有安装redis则进行下载

docker run -p 6379:6379 --name redis -v /root/redis/data:/data -v /root/redis/redis.conf:/etc/redis/redis.conf --restart=always --network host  -d redis:5.0.7 redis-server /etc/redis/redis.conf

这个命令是用于在 Docker 中运行 Redis 容器，并进行一些配置。下面是对每个参数的解释：

  • -p 6379:6379: 将 Docker 容器的端口 6379 映射到主机的端口 6379，以便可以从主机访问 Redis 服务。
  • --name redis: 指定容器的名称为 “redis”。
  • -v /root/redis/data:/data: 将主机的 /root/redis/data 目录挂载到容器的 /data 目录，用于持久化保存 Redis 数据。
  • -v /root/redis/redis.conf:/etc/redis/redis.conf: 将主机的 /root/redis/redis.conf 配置文件挂载到容器的 /etc/redis/redis.conf，使用该配置文件作为 Redis 的配置。
  • --restart=always: 设置容器在退出时自动重新启动。
  • --network host: 使用主机网络模式，容器将共享主机的网络栈。
  • -d: 在后台运行容器。
  • redis:5.0.7: 指定使用的 Redis 镜像及其版本号。
  • redis-server /etc/redis/redis.conf: 在容器中执行的命令，即启动 Redis 服务器，并使用指定的配置文件。

执行上述操作redis容器如果启动没有问题那么我们的布隆过滤器的插件和redis都安装并启动成功了，如果没有启动成功可以通过docker logs 查看一下redis的启动过程中出现什么问题

下面连接redis执行下面的代码查看否布隆过滤器安装成功

bf.add user test

解释一下：bf.add 是安装布隆过滤器后才可以使用的命令，这是添加一个key的命令，user是过滤器的名字，而tese就是我们要去添加的key
在这里插入图片描述
这是添加成功的标识。

springboot项目使用redis布隆过滤器

上面我们把布隆过滤器安装成功了，那么下面介绍一下在项目中如何应用这个过滤器如何通过代码来去和过滤器交互
我这里使用的redis的过滤器所以用到的依赖直接使用的spring-data-redis这个就可以了

        <!--redis的依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency>

引入依赖以后我们配置封装一个用于调用过滤器的工具类

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.data.redis.core.script.RedisScript;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.stereotype.Component;
import org.springframework.transaction.annotation.Transactional;import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;@Component
public class RedisBloomUtil {@Autowiredprivate RedisTemplate redisTemplate;// 初始化一个布隆过滤器public Boolean tryInitBloomFilter(String key, long expectedInsertions, double falseProbability) {Boolean keyExist = redisTemplate.hasKey(key);if(keyExist) {return false;}RedisScript<Boolean> script = new DefaultRedisScript<>(bloomInitLua(), Boolean.class);RedisSerializer stringSerializer = redisTemplate.getStringSerializer();redisTemplate.execute(script, stringSerializer, stringSerializer, Collections.singletonList(key), falseProbability+"", expectedInsertions+"");return true;}// 添加元素public Boolean addInBloomFilter(String key, Object arg) {RedisScript<Boolean> script = new DefaultRedisScript<>(addInBloomLua(), Boolean.class);return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), arg);}@Transactional// 批量添加元素public Boolean batchAddInBloomFilter(String key, Object... args) {RedisScript<Boolean> script = new DefaultRedisScript<>(batchAddInBloomLua(), Boolean.class);return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), args);}// 查看某个元素是否是存在public Boolean existInBloomFilter(String key, Object arg) {RedisScript<Boolean> script = new DefaultRedisScript<>(existInBloomLua(), Boolean.class);return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), arg);}// 批量查看元素是否存在public List batchExistInBloomFilter(String key, Object... args) {RedisScript<List> script = new DefaultRedisScript(batchExistInBloomLua(), List.class);List<Long> results = (List) redisTemplate.execute(script, Collections.singletonList(key), args);List<Boolean> booleanList = results.stream().map(res -> res == 1 ? true : false).collect(Collectors.toList());return booleanList;}private String bloomInitLua() {return "redis.call('bf.reserve', KEYS[1], ARGV[1], ARGV[2])";}private String addInBloomLua() {return "return redis.call('bf.add', KEYS[1], ARGV[1])";}private String batchAddInBloomLua() {StringBuilder sb = new StringBuilder();sb.append("for index, arg in pairs(ARGV)").append("\r\n");sb.append("do").append("\r\n");sb.append("redis.call('bf.add', KEYS[1], arg)").append("\r\n");sb.append("end").append("\r\n");sb.append("return true");return sb.toString();}private String existInBloomLua() {return "return redis.call('bf.exists', KEYS[1], ARGV[1])";}private String batchExistInBloomLua() {StringBuilder sb = new StringBuilder();sb.append("local results = {}").append("\r\n");sb.append("for index, arg in pairs(ARGV)").append("\r\n");sb.append("do").append("\r\n");sb.append("local exist = redis.call('bf.exists', KEYS[1], arg)").append("\r\n");sb.append("table.insert(results, exist)").append("\r\n");sb.append("end").append("\r\n");sb.append("return results;");return sb.toString();}
}

下面是布隆过滤器的一些基础命令

在 Redis 中，可以使用 RedisBloom 模块来实现布隆过滤器。RedisBloom 是一个开源模块，提供了一系列命令来操作布隆过滤器。下面是 RedisBloom 模块中常用的命令集合：

  1. BF.ADD：向布隆过滤器中添加一个元素。

    BF.ADD <key> <item>

  2. BF.EXISTS：检查一个元素是否存在于布隆过滤器中。

    BF.EXISTS <key> <item>

  3. BF.MADD：向布隆过滤器中批量添加多个元素。

    BF.MADD <key> <item> [item ...]

  4. BF.MEXISTS：批量检查多个元素是否存在于布隆过滤器中。

    BF.MEXISTS <key> <item> [item ...]

  5. BF.INFO：获取布隆过滤器的信息，包括容量、误判率等。

    BF.INFO <key>

  6. BF.RESERVE：创建一个新的布隆过滤器，并指定容量和误判率。

    BF.RESERVE <key> <error_rate> <capacity>

  7. BF.COUNT：统计布隆过滤器中已添加的元素数量。

    BF.COUNT <key>

  8. BF.DEBUG：调试命令，用于打印布隆过滤器内部的一些调试信息。

    BF.DEBUG <subcommand> [arguments ...]

我上面提供的工具类就是封装的这些命令。

扩展

关于布隆过滤器我们在使用的是注意点，就是在我上面说到的测试一下是否安装成功时使用的添加数据的命令，bf.add 过滤器名称 key，但是我并没有创建那个名字为user的过滤器，是因为这是程序帮我创建了一个叫做user的过滤器，这个过滤器的配置都是一些基础的配置，比如初始容量是100 错误率是0.01也就是百分之一的错误率，这个过滤明显不能满足我们的需要因为过滤器的工作原理就是通过多个哈希函数对key进行计算然后记录下来，那么容量就决定了在计算的过程中发生碰撞的概率大小了，所以我们在使用的时候一定要去手动创建过滤器以确保满足自己的需要。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/450405.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

echarts step line

echarts step line

https://ppchart.com/#/ <template><div class"c-box" ref"jsEchart"></div> </template><script> import * as $echarts from echarts // 事件处理函数 export default {props: {// 需要传递的数据data: {type: Array,defa…
阅读更多...
SSL 证书如何工作？

SSL 证书如何工作？

SSL 的原理是确保用户和网站之间或两个系统之间传输的任何数据始终无法被读取。它使用加密算法对传输中的数据进行加密&#xff0c;从而防止黑客读取通过连接发送的数据。该数据包括潜在的敏感信息&#xff0c;例如姓名、地址、信用卡号或其他财务详细信息。 该过程如下所示&am…
阅读更多...
ElementUI Data：Table 表格

ElementUI Data：Table 表格

ElementUI安装与使用指南 Table 表格 点击下载learnelementuispringboot项目源码 效果图 el-table.vue&#xff08;Table表格&#xff09;页面效果图 项目里el-table.vue代码 <script> export default {name: el_table,data() {return {tableData: [{dat…
阅读更多...
向日葵案例解析：无外网接入，医疗设备如何进行远程售后运维

向日葵案例解析：无外网接入，医疗设备如何进行远程售后运维

随着医学科学以及生物工程技术的高速发展&#xff0c;医院对于高端医疗设备如MR、CT、B超等高科技成像设备和放射治疗设备的需求激增。医学影像检查作为一种重要的手段&#xff0c;在许多疾病确诊过程中发挥着至关重要的作用。检查结果正确与否&#xff0c;直接影响临床医生对疾…
阅读更多...
Emmet语法

Emmet语法

一&#xff0c;emmet语法快速生成HTML标签 二&#xff0c;emmet语法快速生成CSS样式 简写 三&#xff0c;快速格式化代码 右键选择格式化文档。
阅读更多...
Docker进阶篇-Docker网络

Docker进阶篇-Docker网络

一、描述 1、docker不启动&#xff0c;默认网络情况 查看网卡情况使用&#xff0c;ifconfig或者ip addr ens33&#xff1a;本机网卡 lo&#xff1a;本机回环网络网卡 virbr0:在CentoS 7的安装过程中如果有选择相关虚拟化的的服务安装系统后&#xff0c;启动网卡时会发现 …
阅读更多...
异步编程Completablefuture使用详解----进阶篇

异步编程Completablefuture使用详解----进阶篇

JDK版本&#xff1a;jdk17 IDEA版本&#xff1a;IntelliJ IDEA 2022.1.3 文章目录 前言一、异步任务的交互1.1 applyToEither1.2 acceptEither1.3 runAfterEither 二、get() 和 join() 区别三、ParallelStream VS CompletableFuture3.1 使用串行流执行并统计总耗时3.2 使用并行…
阅读更多...
什么是DDOS流量攻击，DDoS防护安全方案

什么是DDOS流量攻击，DDoS防护安全方案

随着互联网的发展普及&#xff0c;云计算成新趋势&#xff0c;人们对生活方式逐渐发生改变的同时&#xff0c;随之而来的网络安全威胁也日益严重&#xff01; 目前在网络安全方面&#xff0c;网络攻击是最主要的威胁之一&#xff0c;其中DDoS攻击是目前最为常见的网络攻击手段…
阅读更多...
利用OpenCV实现物流与生产线自动化的革命性突破

利用OpenCV实现物流与生产线自动化的革命性突破

背景介绍&#xff1a; 在当今高度自动化的时代&#xff0c;物流和生产线上的每一个环节都关乎企业的核心竞争力。传统的生产方式往往依赖于人工检测和操作&#xff0c;这不仅效率低下&#xff0c;而且容易出错。为了解决这一问题&#xff0c;越来越多的企业开始寻求利用计算机视…
阅读更多...
京东微前端框架MicroApp简介

京东微前端框架MicroApp简介

一、MicroApp 1.1 MicroApp简介 MicroApp是由京东前端团队推出的一款微前端框架，它从组件化的思维，基于类WebComponent进行微前端的渲染，旨在降低上手难度、提升工作效率。MicroApp无关技术栈，也不和业务绑定，可以用于任何前端框架。 官网链接：https://micro-zoe.gith…
阅读更多...
clickhouse在MES中的应用-跟踪扫描

clickhouse在MES中的应用-跟踪扫描

开发的MES&#xff0c;往往都要做生产执行跟踪扫描&#xff0c;这样会产生大量的扫描数据&#xff0c;用关系型数据库&#xff0c;很容易造成查询冲突的问题。 生产跟踪扫描就发生的密度是非常高的&#xff0c;每个零部件的加工过程&#xff0c;都要被记录下来&#xff0c;特别…
阅读更多...
maven helper 解决jar包冲突方法

maven helper 解决jar包冲突方法

一 概要说明 1.1 说明 首先&#xff0c;解决idea中jar包冲突&#xff0c;使用maven的插件&#xff1a;maven helper插件&#xff0c;它能够给我们罗列出来同一个jar包的不同版本&#xff0c;以及他们的来源&#xff0c;但是对不同jar包中同名的类没有办法。 1.2 依赖顺序 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023