Java数据库与数据存储：Redis

1. 引言在当今互联网高并发场景下数据库的性能瓶颈往往成为系统扩展的最大障碍。Redis 作为一款高性能的内存数据库凭借其丰富的数据结构、极快的读写速度和灵活的持久化机制已经成为 Java 后端开发中不可或缺的组件。本文将系统性地介绍 Redis 的核心知识体系包括五种基本数据结构、持久化机制、集群部署模式以及面试中高频出现的缓存穿透、缓存雪崩和缓存击穿三大经典问题。无论你是准备面试还是实际项目开发这篇文章都能为你提供完整的知识框架。2. Redis 概述2.1 什么是 RedisRedisRemote Dictionary Server是一个开源的、基于内存的键值对存储系统由 Salvatore Sanfilippo 于 2009 年开发。它支持多种数据结构如字符串、哈希、列表、集合和有序集合并提供了丰富的操作命令。2.2 Redis 的核心特性高性能基于内存操作单线程模型避免了并发竞争读写速度可达 10 万次/秒以上丰富的数据结构支持 String、Hash、List、Set、ZSet 五种基本类型及 Bitmap、HyperLogLog、Geo 等高级类型持久化机制支持 RDB 快照和 AOF 日志两种持久化方式高可用支持主从复制、哨兵模式和集群模式原子性操作所有命令都是原子操作支持事务和 Lua 脚本2.3 Redis 的应用场景缓存系统减轻数据库压力提升系统响应速度分布式锁基于 SETNX 命令实现分布式锁排行榜利用 ZSet 实现实时排行榜计数器利用 INCR/DECR 实现访问计数、库存扣减消息队列利用 List 的 LPUSH/BRPOP 实现简单的消息队列会话管理存储用户登录状态和 Session 信息3. Redis 数据结构详解3.1 String字符串String 是 Redis 最基本的数据类型可以存储字符串、整数或浮点数最大容量为 512MB。常用命令SET key value# 设置键值GET key# 获取值INCR key# 值加1DECR key# 值减1SETEX key seconds value# 设置带过期时间的键值MSET key1 value1 key2 value2# 批量设置Java 使用示例// 使用 Spring Data RedisAutowiredprivateStringRedisTemplatestringRedisTemplate;// 设置缓存stringRedisTemplate.opsForValue().set(user:1001,张三,30,TimeUnit.MINUTES);// 获取缓存StringuserstringRedisTemplate.opsForValue().get(user:1001);// 计数器操作LongcountstringRedisTemplate.opsForValue().increment(page:view:count);应用场景缓存对象、计数器、分布式锁、Session 管理。3.2 Hash哈希Hash 是一个键值对集合适合存储对象类型的数据可以单独修改某个字段而不影响其他字段。常用命令HSET key field value# 设置字段值HGET key field# 获取字段值HGETALL key# 获取所有字段和值HDEL key field# 删除字段HINCRBY key field increment# 字段值增加Java 使用示例AutowiredprivateRedisTemplateString,ObjectredisTemplate;// 存储用户对象HashOperationsString,String,ObjecthashOpsredisTemplate.opsForHash();MapString,ObjectuserMapnewHashMap();userMap.put(name,李四);userMap.put(age,25);userMap.put(email,lisiexample.com);hashOps.putAll(user:1002,userMap);// 获取单个字段ObjectnamehashOps.get(user:1002,name);// 获取整个对象MapString,ObjectuserhashOps.entries(user:1002);应用场景存储对象信息、购物车、用户资料。3.3 List列表List 是一个双向链表支持从两端插入和弹出元素适合实现队列和栈。常用命令LPUSH key value# 从左侧插入RPUSH key value# 从右侧插入LPOP key# 从左侧弹出RPOP key# 从右侧弹出LRANGE key start stop# 获取范围内的元素LLEN key# 获取列表长度Java 使用示例// 实现消息队列ListOperationsString,StringlistOpsredisTemplate.opsForList();// 生产者发送消息listOps.rightPush(message:queue,消息1);listOps.rightPush(message:queue,消息2);// 消费者接收消息阻塞式StringmessagelistOps.leftPop(message:queue,10,TimeUnit.SECONDS);应用场景消息队列、最新消息列表、时间线。3.4 Set集合Set 是无序的字符串集合元素唯一支持集合运算交集、并集、差集。常用命令SADD key member# 添加元素SREM key member# 删除元素SMEMBERS key# 获取所有元素SISMEMBER key member# 判断元素是否存在SINTER key1 key2# 求交集SUNION key1 key2# 求并集Java 使用示例SetOperationsString,StringsetOpsredisTemplate.opsForSet();// 添加标签setOps.add(user:1001:tags,Java,Redis,Spring);// 判断是否包含某元素BooleanhasTagsetOps.isMember(user:1001:tags,Java);// 求共同关注SetStringcommonsetOps.intersect(user:1001:follows,user:1002:follows);应用场景标签系统、好友关系、去重操作。3.5 ZSet有序集合ZSet 在 Set 的基础上增加了分数score属性元素按分数排序适合实现排行榜。常用命令ZADD key score member# 添加元素及分数ZRANGE key start stop# 按分数升序获取ZREVRANGE key start stop# 按分数降序获取ZSCORE key member# 获取元素分数ZINCRBY key increment member# 增加元素分数ZRANK key member# 获取元素排名Java 使用示例ZSetOperationsString,StringzSetOpsredisTemplate.opsForZSet();// 添加排行榜数据zSetOps.add(ranking:game,玩家A,100);zSetOps.add(ranking:game,玩家B,85);zSetOps.add(ranking:game,玩家C,95);// 获取前三名SetStringtop3zSetOps.reverseRange(ranking:game,0,2);// 增加分数zSetOps.incrementScore(ranking:game,玩家B,20);应用场景排行榜、延时队列、优先级队列。4. Redis 持久化机制4.1 RDBRedis DataBase持久化RDB 是 Redis 默认的持久化方式通过创建快照Snapshot将内存中的数据保存到磁盘。工作原理在指定的时间间隔内将内存中的数据集快照写入磁盘默认文件名为dump.rdb通过 fork 子进程完成快照生成不影响主进程服务触发条件# 配置文件 redis.conf 中的默认配置save9001# 900秒内至少1次修改save30010# 300秒内至少10次修改save6010000# 60秒内至少10000次修改优点文件紧凑适合备份和灾难恢复恢复速度快对性能影响小缺点可能丢失最后一次快照后的数据fork 子进程时可能短暂阻塞4.2 AOFAppend Only File持久化AOF 通过记录每次写操作命令来持久化数据以追加的方式写入日志文件。工作原理将每次写命令追加到appendonly.aof文件支持三种同步策略always、everysec、no支持 AOF 重写机制压缩文件大小配置方式# 开启 AOFappendonlyyes# 同步策略appendfsync always# 每次写入都同步最安全但性能最差appendfsync everysec# 每秒同步一次推荐appendfsync no# 由操作系统决定同步时机优点数据安全性高最多丢失 1 秒数据日志文件可读便于排查问题缺点文件体积较大恢复速度较慢相同数据集下 AOF 文件比 RDB 大4.3 混合持久化Redis 4.0 引入了混合持久化机制结合 RDB 和 AOF 的优点使用 RDB 作为基础快照在快照之间使用 AOF 记录增量操作兼顾恢复速度和数据安全性# 开启混合持久化aof-use-rdb-preambleyes5. Redis 集群模式5.1 主从复制模式主从复制是最基础的集群模式通过将主节点的数据同步到从节点实现读写分离和数据备份。架构特点一个主节点Master负责写操作多个从节点Slave负责读操作从节点自动同步主节点数据配置方式# 在从节点配置文件中指定主节点replicaof192.168.1.1006379# 或使用命令动态设置SLAVEOF192.168.1.1006379复制原理从节点发送 SYNC 命令主节点执行 BGSAVE 生成 RDB 快照主节点将快照发送给从节点从节点加载快照主节点将增量命令发送给从节点优点实现读写分离提升读性能数据冗余备份配置简单缺点主节点故障时无法自动切换从节点过多时同步压力大5.2 哨兵模式Sentinel哨兵模式在主从复制基础上增加了自动故障转移能力实现高可用。架构特点哨兵进程监控主从节点的运行状态主节点故障时自动选举新的主节点客户端通过哨兵获取当前主节点地址哨兵配置# sentinel.confsentinel monitor mymaster192.168.1.10063792sentinel down-after-milliseconds mymaster5000sentinel failover-timeout mymaster15000故障转移流程主节点故障哨兵检测到主节点下线投票选举新主节点从节点升级为主节点其他从节点重新同步客户端连接新主节点优点自动故障转移高可用无需人工干预支持监控和通知缺点只有一个主节点写性能受限配置相对复杂5.3 Cluster 集群模式Cluster 模式是 Redis 3.0 引入的分布式解决方案支持数据分片和水平扩展。架构特点数据自动分片到 16384 个哈希槽每个节点负责一部分哈希槽支持多主多从无中心化架构支持在线扩容和缩容哈希槽分配# 集群节点分配哈希槽redis-cli-p7001cluster addslots0-5460 redis-cli-p7002cluster addslots5461-10922 redis-cli-p7003cluster addslots10923-16383集群配置示例# 创建集群至少3个主节点redis-cli--clustercreate192.168.1.101:7001192.168.1.102:7002\192.168.1.103:7003 --cluster-replicas1数据分片原理客户端请求计算哈希槽CRC16(key) % 16384定位节点执行操作优点支持水平扩展突破单机内存限制高可用支持自动故障转移无中心化避免单点瓶颈缺点不支持多键操作跨槽位客户端需要支持集群协议数据迁移期间可能影响性能6. 缓存穿透、缓存雪崩与缓存击穿6.1 缓存穿透问题描述查询一个不存在的数据缓存和数据库中都没有导致每次请求都直接打到数据库。产生原因恶意攻击构造大量不存在的 key业务逻辑缺陷查询了不存在的 ID解决方案方案一缓存空值publicObjectgetData(Stringkey){// 先从缓存查询ObjectvalueredisTemplate.opsForValue().get(key);if(value!null){returnvalue;}// 缓存未命中查询数据库ObjectdbValuequeryFromDatabase(key);if(dbValuenull){// 缓存空值设置较短的过期时间redisTemplate.opsForValue().set(key,,60,TimeUnit.SECONDS);returnnull;}// 缓存真实数据redisTemplate.opsForValue().set(key,dbValue,30,TimeUnit.MINUTES);returndbValue;}方案二布隆过滤器// 使用 Guava 布隆过滤器BloomFilterStringbloomFilterBloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()),1000000,// 预计元素数量0.01// 误判率);// 初始化时加载所有存在的 keybloomFilter.put(user:1001);bloomFilter.put(user:1002);publicObjectgetData(Stringkey){// 布隆过滤器判断if(!bloomFilter.mightContain(key)){returnnull;// 一定不存在直接返回}// 可能存在继续查询缓存和数据库// ...}6.2 缓存雪崩问题描述大量缓存同时过期或 Redis 服务宕机导致所有请求直接打到数据库造成数据库压力骤增甚至崩溃。产生原因缓存设置了相同的过期时间Redis 服务宕机缓存服务器重启解决方案方案一过期时间加随机值// 设置过期时间时加入随机值避免同时过期intbaseExpire30*60;// 基础过期时间30分钟intrandomExpirenewRandom().nextInt(300);// 随机0-300秒redisTemplate.opsForValue().set(key,value,baseExpirerandomExpire,TimeUnit.SECONDS);方案二多级缓存// 一级缓存本地缓存CaffeineCacheString,ObjectlocalCacheCaffeine.newBuilder().expireAfterWrite(5,TimeUnit.MINUTES).maximumSize(10000).build();// 二级缓存RedispublicObjectgetData(Stringkey){// 先查本地缓存ObjectlocalValuelocalCache.getIfPresent(key);if(localValue!null){returnlocalValue;}// 再查 RedisObjectredisValueredisTemplate.opsForValue().get(key);if(redisValue!null){localCache.put(key,redisValue);returnredisValue;}// 最后查数据库ObjectdbValuequeryFromDatabase(key);if(dbValue!null){redisTemplate.opsForValue().set(key,dbValue,30,TimeUnit.MINUTES);localCache.put(key,dbValue);}returndbValue;}方案三Redis 高可用使用哨兵模式或集群模式配置主从复制实现故障自动转移使用持久化机制重启后快速恢复6.3 缓存击穿问题描述某个热点 key 在缓存过期的瞬间大量并发请求同时访问该 key导致所有请求都打到数据库。产生原因热点数据过期高并发访问同一数据解决方案方案一互斥锁publicObjectgetData(Stringkey){// 先从缓存查询ObjectvalueredisTemplate.opsForValue().get(key);if(value!null){returnvalue;}