秒杀系统的数据库架构设计:热点隔离、库存扣减与异步排队的铁三角
秒杀系统的数据库架构设计热点隔离、库存扣减与异步排队的铁三角一、100万人抢1000台手机数据库连接池瞬间打满秒杀是对数据库最极端的压力测试。当100万用户在同一秒钟点击抢购按钮时1000台手机的库存要在这100万请求中原子扣减且不能超卖。传统做法是直接在MySQL中UPDATE stock SET countcount-1 WHERE id12345 AND count0——在1000QPS下工作良好但在10万QPS下连接池迅速耗尽大量请求排队等待锁释放最终超时告终。秒杀场景的独特挑战在于热点集中——100%的请求都打在同一个SKU的同一行库存记录上。在InnoDB中这行数据被频繁加锁和修改行锁争抢导致大量线程在等待CPU花在锁调度上而非实际处理业务。当等待队列超过innodb_thread_concurrency限制时新请求被拒绝——这就是秒杀期间大量用户看到系统繁忙的根因。二、秒杀数据库的三层解耦热点缓存、事务排队与最终一致第一层网关限流。前端的100万并发本质上不可能也不需要在数据库层处理。网关层使用令牌桶算法将流入量控制在10万QPS以内——即使Redis处理能力远超这个值也不能让更多的请求进入内层因为后端MySQL的消费能力是固定的约1000 QPS。第二层Redis原子库存扣减。使用Lua脚本实现检查库存扣减的原子操作单分片Redis轻松支持10万QPS。扣减成功后生成一个唯一Token返回给用户同时将扣减事件推入Redis List作为排队队列。用户拿到Token后进入排队中状态。第三层异步消费落库。后端消费者以固定速率如1000/s从Redis队列中消费扣减事件逐个写入MySQL并创建订单。这个消费速率由MySQL的写入能力决定不能超过它。消费者单线程处理消除了MySQL行锁争抢。三、基于Redis Lua的原子库存扣减实现-- lua/stock_deduct.lua -- Redis Lua脚本原子库存扣减生成排队Token -- KEYS[1]: stock_key (库存Key) -- KEYS[2]: queue_key (排队队列Key) -- ARGV[1]: user_id -- ARGV[2]: request_id (幂等Key) -- ARGV[3]: max_per_user (每用户限购数量) local stock_key KEYS[1] local queue_key KEYS[2] local user_id ARGV[1] local request_id ARGV[2] local max_per_user tonumber(ARGV[3]) or 1 -- 幂等性检查 local idempotent_key seckill:idempotent: .. request_id if redis.call(EXISTS, idempotent_key) 1 then return {0, duplicate_request, request_id} end -- 用户限购检查 local user_bought_key seckill:user_bought: .. user_id local user_bought tonumber(redis.call(GET, user_bought_key)) or 0 if user_bought max_per_user then return {0, user_limit_exceeded, user_id} end -- 库存检查与扣减 local stock tonumber(redis.call(GET, stock_key)) or 0 if stock 0 then return {0, sold_out, 0} end -- 扣减库存 local remaining redis.call(DECR, stock_key) if remaining 0 then -- 超卖回滚 redis.call(INCR, stock_key) return {0, sold_out, 0} end -- 标记幂等60秒过期防止重复请求 redis.call(SETEX, idempotent_key, 60, 1) -- 更新用户购买计数 redis.call(INCR, user_bought_key) redis.call(EXPIRE, user_bought_key, 86400) -- 24h过期 -- 生成Token并入队 local token user_id .. _ .. request_id .. _ .. redis.call(TIME)[1] redis.call(LPUSH, queue_key, token) return {1, queued, token}# consumer/mysql_writer.py import redis import pymysql import logging import time logger logging.getLogger(__name__) class SeckillConsumer: 秒杀异步消费者从Redis队列消费到MySQL def __init__(self, redis_client, mysql_conn, batch_size: int 10): self.redis redis_client self.mysql mysql_conn self.batch_size batch_size def consume(self, queue_key: str, stock_table: str): 消费秒杀队列 while True: tokens [] # 批量获取Token for _ in range(self.batch_size): token self.redis.rpop(queue_key) if token: tokens.append(token.decode()) if not tokens: logger.debug(Queue empty, sleeping...) time.sleep(0.1) continue # 批量写入MySQL try: cursor self.mysql.cursor() for token in tokens: user_id, request_id, _ token.split(_) # 实际扣减库存创建订单 cursor.execute(f UPDATE {stock_table} SET stock stock - 1 WHERE sku_id 12345 AND stock 0 ) if cursor.rowcount 0: logger.error(fMySQL stock deduction failed for {token}) # 补偿回滚Redis库存 self.redis.incr(seckill:stock:12345) continue self.mysql.commit() logger.info(fBatch processed: {len(tokens)} orders) except Exception as e: self.mysql.rollback() logger.error(fConsumer batch failed: {e}) # 重新入队或写入死信队列 for token in tokens: self.redis.lpush(queue_key :dlq, token)四、超卖0容忍 vs 少卖可接受不同业务的库存一致性策略不同业务对库存一致性的要求是天差地别的。手机秒杀要求0超卖——多卖一台就要赔一台赔偿用户或重新生产但少卖几台完全可以接受库存可以下次活动继续卖。机票超售则可以容忍一定比例的超卖因为总有用户退票改签——这个比例通过历史数据模型来优化。金融理财产品则要求精确一致——卖出的份额必须严格等于实际库存少卖和多卖都是合规问题。一致性策略的选择直接决定了架构复杂度。0超卖场景使用Redis原子扣减串行消费到MySQL能够满足要求。容忍少卖的场景甚至不需要Redis——直接MySQL行锁扣减简单可靠。精确一致的金融场景则需要TCC两阶段提交日终对账的完整保障。五、总结秒杀数据库架构的核心思路是在数据库之前截流通过网关限流→Redis原子库存→异步持久化三层解耦将数据库压力从10万QPS降低到1000QPS。Redis Lua原子扣减是防止超卖的关键实现幂等性检查是防止重复扣减的安全网。最重要的工程经验是不要试图让数据库承受秒杀级的并发——即使硬件上可行成本也是惊人的。将数据库定位为最终的持久化存储而非实时的事务处理引擎用缓存和消息队列在中间做缓冲。

相关新闻

ATTiny13A驱动数码管的74HC595解决方案

ATTiny13A驱动数码管的74HC595解决方案

1. 项目概述:用ATTiny13A驱动数码管的挑战与解决方案在嵌入式开发中,我们经常遇到IO口资源不足的问题。ATTiny13A作为一款超小型AVR微控制器,仅有8个引脚,其中可用作通用IO的只有5-6个。当我们需要驱动多位数码管时,传…

2026/10/18 22:35:31 阅读更多 →
MBIA做空案例:金融衍生品交易策略深度解析

MBIA做空案例:金融衍生品交易策略深度解析

1. 项目背景解析:MBIA交易案例深度复盘这个案例源自华尔街对冲基金经理比尔阿克曼(Bill Ackman)在2007年金融危机前夕对债券保险公司MBIA的著名做空交易。作为金融史上最具争议性的对冲操作之一,该案例完美展现了"基本面分析…

2026/10/18 5:37:58 阅读更多 →
从技术POC到商业合同的Gap:企业客户的采购决策链全链路拆解

从技术POC到商业合同的Gap:企业客户的采购决策链全链路拆解

从技术POC到商业合同的Gap:企业客户的采购决策链全链路拆解 1. 引言与工程背景 技术POC验证了方案可行性,但离商业合同还有巨大Gap。这个Gap不是技术问题,而是组织决策问题。企业采购决策链涉及多个角色和流程节点。每个节点都有不同的关切和…

2026/10/21 23:27:18 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/10/22 10:18:38 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/10/22 11:01:53 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/10/22 9:44:47 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/10/22 10:42:00 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/10/22 10:40:08 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/10/22 10:56:37 阅读更多 →

日新闻

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/22 1:47:45 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/21 21:32:28 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/22 5:12:39 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/21 21:50:56 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/21 21:51:55 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/22 19:06:46 阅读更多 →