Redis 布隆过滤器——从原理到 Spring Boot 整合，防重复消费一把梭

Redis 布隆过滤器——从原理到 Spring Boot 整合防重复消费一把梭用户是否已经点赞过这篇笔记直接查 Redis Set——一个 key 存几千个 noteId一百万用户点赞就是一百万条记录几 GB 内存。布隆过滤器用几百 KB 就能存上百万条是否存在的记录判断一条不存在一定准确判断一条存在可能误判——这个特性恰好就是消息去重、缓存穿透保护的最优解。这篇文章从布隆过滤器的位图原理讲起到 Docker 安装 RedisBloom 模块、基本命令、Spring Boot Lua 脚本整合用真实代码串下来。布隆过滤器是什么——先忘掉 Redis看一张位图布隆过滤器的底层就是一张很长的二进制位数组BitArray初始全是 0。位数组初始全 000000000...往里面添加一个元素时布隆过滤器用 N 个哈希函数算出 N 个位置把这 N 个位置都置为 1。添加 noteId888 hash1(888) → 位置 2 hash2(888) → 位置 5 hash3(888) → 位置 7 位数组变为 [0, 0, 1, 0, 0, 1, 0, 1, ...] ↑ ↑ ↑ 添加 noteId666 hash1(666) → 位置 1 hash2(666) → 位置 5 hash3(666) → 位置 6 位数组变为 [0, 1, 1, 0, 0, 1, 1, 1, ...] ↑ ↑ ↑ ↑ ↑判断一个元素是否存在用同样的 N 个哈希函数算出 N 个位置看是不是全为 1。全为 1 →可能存在这几个位置可能是被其他元素置为 1 的恰好重合了有一个不是 1 →一定不存在如果添加过这个位置肯定被置为 1 了核心结论说不存在一定准确说存在可能是误判。误判率由位数组长度和哈希函数数量决定RedisBloom 默认误判率 1%。为什么用它——跟 Set 比内存跟 DB 比速度场景判断用户是否已经点赞过这篇笔记。方案100 万条记录占多少内存查一次多快MySQL 查表几十 MB 索引数 msRedis SetSISMEMBER几十 MB不到 1ms布隆过滤器BF.EXISTS几百 KB不到 1ms布隆过滤器的空间效率接近极致——一个 key 只用 1.2 MB 就能存 100 万条记录误判率 1%。对消息去重、缓存穿透保护、黑名单过滤这些能接受少量误判的场景再合适不过。代价就是那 1% 的误判。说不存在一定不存在说存在有小概率其实不存在。对点赞去重来说——最多漏掉一个用户其实没点赞但布隆说点过了的情况不会重复对缓存穿透来说——布隆说过滤掉的 key 一定不在 DB 里绝对不会误杀。Docker 安装——三种方案方案一还没装 Redis直接拉带模块的镜像redis/redis-stack-server镜像内置了 RedisBloom、RedisJSON、RediSearch 等常用模块最省事dockerrun-d\--nameredis\-p6379:6379\redis/redis-stack-server:latest启动后BF.ADD就能直接用。方案二已有 Redis 容器换镜像重启数据在 volume 里不会丢换个带模块的镜像就行dockerstop redisdockerrmredisdockerrun-d\--nameredis\-p6379:6379\-vredis-data:/data\redis/redis-stack-server:latest方案三不想换镜像单独挂载 RedisBloom 模块文件RedisBloom | Github如果不想换镜像——比如用的是官方redis:7.2已经有很多配置——可以只把 RedisBloom 的.so文件挂进去然后在redis.conf里加载。# 1. 下载编译好的 redisbloom.so# 从 https://github.com/RedisBloom/RedisBloom/releases 下载对应版本的 .so 文件# 或者直接 wgetwgethttps://github.com/RedisBloom/RedisBloom/releases/download/v2.8.5/redisbloom.Linux-x86_64-v2.8.5.zipunzipredisbloom.Linux-x86_64-v2.8.5.zip# 2. 修改 redis.conf加一行# loadmodule /usr/local/etc/redis/redisbloom.soecholoadmodule /usr/local/etc/redis/redisbloom.so./redis.conf# 3. 把模块文件和 redis.conf 一起挂进容器dockerrun-d\--nameredis\-p6379:6379\-v./redisbloom.so:/usr/local/etc/redis/redisbloom.so\-v./redis.conf:/usr/local/etc/redis/redis.conf\redis:7.2 redis-server /usr/local/etc/redis/redis.conf三项配齐redis.conf里配了loadmodule、.so文件挂进去了、容器启动时指定了自定义配置文件。从 Redis8 开始就内置在 Redis 了就不用单独配置了。基本命令连进去dockerexec-itredis-bloom redis-cli创建一个布隆过滤器# BF.RESERVE key error_rate capacity# 误判率 0.011%预计存 100000 条BF.RESERVE user:like:100010.01100000如果不调用RESERVE直接ADDRedisBloom 会帮你自动创建一个默认参数的过滤器。添加和查询# 添加一个元素——返回 1新元素或 0已存在BF.ADD user:like:10001888# (integer) 1# 再添加同样的——返回 0说明已存在BF.ADD user:like:10001888# (integer) 0# 判断是否存在——返回 1可能存在或 0一定不存在BF.EXISTS user:like:10001888# (integer) 1BF.EXISTS user:like:10001999# (integer) 0批量操作# 批量添加BF.MADD user:like:10001111222333# 1) (integer) 1# 2) (integer) 1# 3) (integer) 1# 批量判断BF.MEXISTS user:like:10001111888999# 1) (integer) 1# 2) (integer) 1# 3) (integer) 0查看信息BF.INFO user:like:10001# Size: 131072 ← 位数组大小# Number of items inserted: 5布隆过滤器不能删除BF.ADD之后没有BF.DEL。因为一个位置可能被多个元素共用——删掉会误伤别的元素。RedisBloom 从 2.4 版本开始支持BF.INSERT做一些删除操作但复杂度高日常不推荐。如果需要能删除的过滤器用CF.ADD/CF.DEL——Cuckoo Filter这是另一个话题了。Spring Boot 整合——用 Lua 脚本操作布隆过滤器Spring Data Redis 没有直接提供BFOps方法操作布隆过滤器要借助 Lua 脚本。把BF.EXISTS和BF.ADD的逻辑写进 .lua 文件Java 端用DefaultRedisScript加载执行。场景判断用户是否已经点赞过某篇笔记-- resources/lua/bloom_note_like_check.lualocalkeyKEYS[1]-- bloom:user:like:{userId}localnoteIdARGV[1]-- 笔记 ID-- 布隆过滤器不存在 → 返回 -1ifredis.call(EXISTS,key)0thenreturn-1end-- 判断是否已点赞localisLikedredis.call(BF.EXISTS,key,noteId)ifisLiked1thenreturn1-- 已经点赞了end-- 未点赞添加进去redis.call(BF.ADD,key,noteId)return0-- 点赞成功之前没点过// Java 端执行DefaultRedisScriptLongscriptnewDefaultRedisScript();script.setScriptSource(newResourceScriptSource(newClassPathResource(/lua/bloom_note_like_check.lua)));script.setResultType(Long.class);StringbloomKeyRedisKeyConstants.buildBloomUserNoteLikeListKey(userId);LongresultredisTemplate.execute(script,Collections.singletonList(bloomKey),noteId);// 返回值1已点赞0点赞成功-1布隆过滤器不存在三种返回值对应三种情况定义枚举GetterAllArgsConstructorpublicenumBloomCheckResultEnum{ALREADY_EXISTS(1,已存在),NOT_EXIST(0,不存在已添加),FILTER_NOT_EXIST(-1,布隆过滤器不存在);}场景消息去重——防止重复消费-- 先建布隆过滤器如果不存在再判断localkeyKEYS[1]-- bloom:user:note:publish:20260710localuserIdARGV[1]-- 发布者 IDifredis.call(EXISTS,key)0thenredis.call(BF.ADD,key,)redis.call(EXPIRE,key,20*60*60)-- 当天有效endreturnredis.call(BF.EXISTS,key,userId)-- 返回 1已处理过 → 跳过-- 返回 0没处理过 → 可以处理Java 端配合落库使用布隆返回 0 → 落库 → 再调一次BF.ADD标记为已处理。万一布隆误判了说已存在但其实不存在最坏情况就是少处理一条——不会出现重复落库。布隆过滤器的两个不能1. 不能删除元素。一个 bit 可能被多个元素共用删掉就误伤了。要支持删除用 Cuckoo Filter。2. 不能遍历所有元素。布隆过滤器的底层是位数组没有存元素本身只存了存在与否的痕迹。你想列出所有被添加过的 noteId——做不到。它只回答这个 ID 存不存在不回答存过哪些 ID。什么时候用、什么时候不用该用防缓存穿透——请求过来先过布隆布隆说不存在的 key 一定不在 DB 里直接返回空不用查 DB消息去重——MQ 重复消费时布隆判断是否处理过黑名单——判断用户/ IP 是否在名单里点赞/关注去重——判断是否已经操作过不该用不能接受误判——比如支付回调去重漏一笔就是钱的问题需要删除元素——布隆删不了需要列出所有元素——布隆不存原始数据需要精确判断——直接用 Set