系统设计核心要点:从负载均衡到缓存与架构演进
系统设计这个东西说难不难说简单也真不简单。我见过太多开发朋友代码写得漂漂亮亮一聊到“怎么设计一个支持千万级并发的系统”就卡壳。不是说他们不懂技术而是脑子里缺一张地图——技术方案之间是什么关系、流量过来先经过谁、数据应该放在哪里、挂了怎么兜底这些没有体系化想过。我也是在啃了无数资料、面了N轮大厂、给线上系统做了N次重构之后才慢慢把这些点串成一张网。这套笔记就是那张网。1. 系统设计到底在解决什么问题1.1 先从面试官的角度理解这件事很多人把系统设计当成一道“考试题”刷几个案例就以为掌握了。其实面试官真正想看的是你的思维层级。一个用户点了一下按钮背后要经过DNS、CDN、网关、鉴权、限流、缓存、应用服务、下游依赖、数据库、消息队列、分布式事务、监控告警这中间任何一环都可能变成瓶颈。系统设计面试本质上是在问你当流量从1涨到1000万你怎么确保系统不崩、数据不丢、体验不差。我遇到过一个很典型的问题“如果让你设计一个短链接服务你会怎么下手。”很多人的第一反应是“用哈希算法把长链接转成短码”然后就没有然后了。但你仔细拆一下这背后其实藏着大量细节短码怎么生成才不冲突、存到什么数据库里、读多写少的场景要不要加缓存、用户点击量大了之后统计信息怎么落地、过期链接怎么清理。能把这些一层层剥开的人才是真正有系统思维的候选者。1.2 真实业务里的系统设计需求坦白讲面试里的系统设计是理想化版本。真实业务里你还要跟历史包袱、团队能力、预算成本、运维水平死磕。我参与过的一个项目最开始就是一个单体应用跑得很好。后来用户量上来数据库连接开始报警团队开始加缓存、读写分离再后来图片越来越多腾挪到对象存储加CDN。每一步都是被逼着走的每一步都是系统设计的落地场景。所以我在整理这份笔记的时候不只关注面试题也专门把真实世界最常见的架构演进路径梳理了一遍。单体应用什么时候拆、怎么拆、拆完怎么保证数据一致性这些在面试题里很少考但在工作中天天遇到。掌握体系化的系统设计能力不是为了让面试官点头是为了让线上系统出问题时你知道改哪里、加什么、为什么。2. 一份合格的系统设计笔记是怎么组织的2.1 三个核心维度存储、计算、通信我翻过很多人的学习笔记最常见的状态是“收藏了等于会了”笔记里贴着一堆图但没有自己的结构化思考。我自己后来整理的时候把所有散点归纳成三个维度存储数据放哪里、计算逻辑在哪跑、通信数据怎么流动。不管多复杂的系统最终都能落到这三件事上。存储层要解决的是数据量、数据结构、数据一致性、数据生命周期的问题。计算层要解决的是请求处理、逻辑编排、状态维护、资源消耗的问题。通信层要解决的是调用方式、传输协议、流量控制、容错策略的问题。你会发现问题一下子就变清晰了。比如设计一个消息推送系统存储就是设备Token和用户配置计算就是推送逻辑的编排通信就是客户端和服务端的长连接怎么维护。每个维度往下再延伸又会对接到具体的技术方案。这样整理笔记知识不是散落的而是挂在一棵树上的。2.2 笔记到底记什么才不白记我见过太多人的技术笔记就是一份“名词解释大全”记了负载均衡是什么、缓存是什么、CAP是什么但真到了用的时候还是不知道怎么选。这套笔记和我分享给你的思路一样核心不在于名词定义而在于决策线索。比如什么时候加缓存读多写少、数据允许短暂不一致、热点数据集中。什么时候上消息队列流量突发、需要削峰填谷、上下游解耦、下游处理能力有限。什么时候拆微服务团队规模够大、模块边界清晰、部署频率有差异化需求、单体内耗严重。什么时候选NoSQL数据结构灵活、访问模式明确、不需要复杂事务、海量数据水平扩展。把这些记到笔记里才能真正指导你做技术选型。我自己的做法是每个方案一页纸左边写适用场景右边写引入后带来的新问题。你能承受方案带来的新问题才说明你真的理解这个方案。2.3 手把手教你搭笔记框架如果你现在还是拿着别人的思维导图在学习我强烈建议你重新搭一个自己的框架。我的做法分四层第一层是“基础概念”把必须知道的名词和原理过一遍比如一致性哈希、CAP、BASE、幂等性、水平扩展、垂直扩展这一层解决的是共同语言问题。第二层是“基础组件”逐个分析负载均衡、缓存、数据库、消息队列、对象存储、搜索引擎等组件每个组件记清楚它的核心原理、优缺点、适用场景、瓶颈点。第三层是“经典案例”选10个左右的高频设计题比如短链、秒杀、信息流、网盘、IM、支付系统、排行榜、日志系统、爬虫系统、推荐系统每个案例按照需求分析、数据估算、架构设计、优缺点分析四步走。第四层是“实战复盘”把你在真实项目里踩过的坑、做过的架构决策记录下来。比如为什么没用Redis而用了本地缓存、为什么从Kafka换回了RocketMQ这些才是别人偷不走的宝贵经验。3. 这些东西你必须真正吃透3.1 负载均衡系统入口的第一道防线很多人对负载均衡的理解就是“把请求分发到多台服务器上”这个理解没错但太粗了。你在设计系统的时候需要明确负载均衡工作在哪一层。四层负载均衡走的是IP和端口性能和透明性更好七层负载均衡可以解析HTTP协议做URL路由、会话保持、应用层健康检查。两者不是替代关系而是配合关系。我常用的一个标准架构是最外层用DNS做地域级别的流量调度接入层用LVS或者云厂商的LB做四层转发再往内用Nginx做七层反向代理。每一层都承担不同的职责也都有各自的容错策略。笔记里我把常见负载均衡算法的适用场景整理成了表格比如轮询适合服务器配置相同的场景最少连接适合长连接和请求处理时间不均的场景一致性哈希适合需要会话保持和缓存命中的场景。记住这些细节比死记概念重要得多。3.2 缓存提高性能最快制造麻烦也最快缓存是系统设计里回报率最高、坑也最多的部分。很多系统本来没什么问题加了一层缓存之后缓存穿透、缓存击穿、缓存雪崩、缓存一致性全来了。我梳理了几个必须背下来的要点缓存穿透查一个肯定不存在的数据每次都要打数据库。解决靠布隆过滤器或者在缓存里缓存空值过期时间要短。缓存击穿某个热点key过期的一瞬间大量请求直接打到数据库。解决靠互斥锁重建缓存或者后台定时刷新热点key。缓存雪崩大量key同时过期或者缓存节点挂了。解决靠过期时间加随机值、多级缓存、缓存集群高可用。缓存一致性更新数据库之后怎么删缓存才算稳妥。我的习惯是先更新数据库再删除缓存如果是删除失败可以用订阅数据库binlog的异步补偿方案。讲个我亲身踩过的坑。有一年做活动页我把活动配置放在了Redis里设置了固定的两个小时过期。预热的时候数据是有的结果活动开始后突然全量请求涌入Redis里数据刚好在那一秒集中过期数据库直接被压垮。后来改成过期时间加随机30分钟偏移并且让后台每隔五分钟主动刷新一次热点key问题才彻底解决。没有经历过这种场景的人很难理解缓存雪崩的可怕。3.3 数据库选型别把关系型数据库用成文件存储数据库选型是系统设计里最核心的决策之一。我的判断顺序是这样的优先信任关系型数据库它能解决90%的问题当数据量或者访问模式确实搞不定了再考虑引入其他存储组件。MySQL虽然面对海量数据时需要分库分表但它的能力强、生态好、运维工具成熟大部分场景下依然是最稳妥的选择。什么时候考虑NoSQL我把场景分成了三类。Redis应对的是高并发读写的缓存和计数场景ES应对的是全文检索和复杂聚合分析HBase/Cassandra应对的是海量写入和海量数据存储。注意这三类都不是“替代MySQL”而是“补充MySQL”。我在真实项目里最常用的组合是MySQL存核心业务数据Redis扛热点读取ES做搜索和分析ClickHouse做离线报表。每个组件干自己最擅长的事系统才能稳定高效。3.4 消息队列削峰填谷和系统解耦的利器我一直把消息队列当作系统设计的“缓冲器”。它最大的价值不是传输数据而是让上下游不在同一时间尺度上。你的应用写了一条订单数据如果直接同步调用库存服务、积分服务、通知服务任何一个服务慢都会拖垮主流程。引入消息队列之后主流程只管写消息、发事件下游各自消费。选择消息队列的时候我在笔记里这样对比过选型维度KafkaRocketMQRabbitMQ主要定位日志收集、大数据管道业务消息、事务消息轻量级消息、跨语言协议吞吐量极高高中等消息可靠性支持支持支持消息顺序性分区内有序队列内有序单队列有序运维复杂度较高中等中等业务型消息我用RocketMQ或者RabbitMQ日志型管道我用Kafka。这不是说Kafka不能做业务消息而是业务消息通常需要更灵活的消息轨迹、重试和延迟消息能力RocketMQ这些特性做得更顺手。4. 手把手拆解两个经典系统设计案例4.1 设计一个短链接服务短链接算是最经典的入门级系统设计题麻雀虽小五脏俱全。不管用不用得上我建议你都亲手走一遍。第一步是需求分析。这个系统要提供什么核心能力生成短链、跳转到长链、统计点击量就这三件事。QPS要做到多少假设每天新增100万条短链点击量每天1亿。做了一个简单的估算之后你会对这个系统的规模有感觉。第二步是短码设计。短码长度和字符集决定了可承载的数据量。如果用62个字符数字大小写字母6位短码可以支撑568亿个组合远远够用了。短码生成有两种常见方案一种是用发号器比如Snowflake或者数据库自增ID拿到ID之后再转成62进制另一种是直接用随机数生成碰撞概率极低但需要加唯一索引兜底。我推荐发号器方案因为它的短码天然有序、便于排查问题。第三步是存储和跳转。短码和长链的映射关系存在MySQL里表结构很简单但一定要给短码加唯一索引。点击量是高频写操作先写Redis再异步刷回MySQL。跳转的响应头返回302还是301我建议302临时重定向这样点击量的统计信息能够每次都被记录同时也方便后续做运营活动时随时修改落地地址。第四步是治理。短链很容易被滥用需要加风控策略比如限制每个用户每天的生成数量、检测是否包含恶意链接。系统上线一段时间之后还要考虑冷热数据分离几个月前的短链点击量很低可以迁移到归档表或者对象存储保持热表的数据量可控。4.2 设计一个信息流系统信息流系统比短链接复杂得多它的核心矛盾是“千人千面”的个性化数据和海量用户之间的冲突。我在笔记里把信息流拆成了“读”和“写”两条链路。写链路是用户发了一条动态之后发生的事。如果是微博这种弱关系产品写操作很轻把内容存好再写入自己的粉丝聚合列表就可以了。如果是强关系产品比如朋友圈发一条动态要推送给所有好友这就是典型的“写扩散”。当你的好友数量巨大时写扩散会变成灾难这时候就需要“拉扩散”或者“读写混合”的策略。读链路是用户打开App之后发生的事。核心问题是怎么组装信息流。常用的方案是用Redis存每个用户的信息流feed列表只存动态ID用户请求的时候再从内容服务批量取动态详情。这个“先取ID列表再批量取详情”的交互方式非常经典能极大降低存储成本和读放大。这里有一个严重的细节问题Redis里的feed列表是有上限的一般只保留最近500-1000条。那用户往下翻想要更早的内容怎么办有两种方案一种是翻到末尾就直接提示“没有更多了”很多产品对普通人就是这么干的另一种是真正做深度翻页那就需要去归档存储里做一次“重新聚合”延迟会明显变高。你要在业务容忍度和技术成本之间做取舍。4.3 设计一个秒杀系统秒杀系统把系统设计的并发问题放大到了极致。我参与过类似的高并发活动最大的体会是秒杀系统的终极目标不是让所有请求都成功而是让绝大多数请求快速失败。峰值时期可能有1000万人同时抢1000件商品如果每个请求都去查库存、锁定库存系统肯定瞬间被打垮。我的设计思路分三层。接入层用CDN和静态页面承载所有与“抢购资格”无关的流量用户在抢购页面看到的信息都是从CDN拿的根本不经过应用服务器。前置校验层用户点击抢购按钮后先经过API网关的限流和风控只有限流令牌通过的请求才进入秒杀核心链路。核心交易层这部分流量已经很小了在Redis里用原子操作扣减库存扣减成功才异步创建订单。秒杀的另一个关键点是请求处理顺序。库存扣减必须保持原子性Redis的DECR操作是天然原子化的很多系统能扛住秒杀靠的就是这一步。扣完库存之后真正创建订单的流程走消息队列异步化这样数据库写入压力就被削平了。5. 常见问题、避坑技巧与提速方法5.1 面试中常见的“致命失误”系统设计面试没标准答案但有不少一眼就被看穿的失误。我总结过几个高频致命伤全都在我的笔记里标了红。第一个是完全不问需求就开始画架构图。你说设计一个网盘这系统是给200人用还是给2亿人用技术方案完全不同。我建议先花两三分钟把关键需求问清楚包括DAU、峰值QPS、数据量、读写比例、是否要求实时同步、是否需要分享能力。清楚了这些再动手设计。第二个是只画漂亮的架构图不解释为什么这么画。面试官想听到你的决策过程而不是看一张看似什么都有的大杂烩图。你要明确指出哪一层解决的是性能问题哪一层解决的是可用性问题哪一层解决的是扩展性问题。第三个是不考虑任何单点故障。很多候选人的架构图里只有一个数据库实例、一个缓存节点、一台应用服务器。面试官只要问一句“这台机器挂了怎么办”场面就尴尬了。设计中一定要体现出冗余意识至少是高可用思路哪怕你说的是“先用主从切换顶住再做多活”也比完全没有强得多。第四个是算法策略抄袭模版。比如一开口就说“用一致性哈希”但你的数据量明明用简单取模就行。面试官更看重你懂不懂“什么时候不需要过度设计”而不是你背了多少炫酷名词。5.2 真实系统中的常见故障排查真实系统比面试场景复杂得多我在笔记里专门记了一些“事故现场”案例这里挑两个比较典型的分享给你。第一个是“Redis连接被打爆”的排查过程。事情发生在一次大促预热期突然收到大量CPU和内存告警一查是Redis的连接数飙升到了上限。第一反应是加连接数上限但加了之后反而更糟因为连接池里的连接全部卡住应用侧大量超时。后来逐个排查发现有个新上线的服务每次请求都新建Redis连接并且连接池的maxTotal配得非常小。最后把连接池参数调优并且加了一层本地缓存来削掉大量重复请求问题才平息。凡是高并发系统Redis连接池参数一定要留足余量并且要对慢查询和热key做监控。第二个是“MySQL慢查询拖垮了接口”的复盘。有一次线上接口的P99延迟从80ms涨到了3秒排查后发现是一条SQL在数据量涨到一定阈值之后索引失效了。原因是查询条件里对索引列做了函数操作MySQL无法走索引而选择了全表扫描。修复方案很简单改写SQL去掉函数操作让索引生效。这个案例告诉我数据库性能优化里看一眼执行计划永远比猜更快慢SQL日志一定要开索引失效的条件一定要背熟。5.3 笔记整理与进阶提速建议最后说说怎么把这件事做长久。系统设计的学习不是一蹴而就的我给自己定的节奏是每周精读一个组件的官方文档每月完整拆解一个真实系统的架构。我整理笔记的方式是“卡片法”每个知识点一张卡片卡片正面写这个方案是什么背面写它的适用场景、优缺点、优化方向、相关案例。这样每周翻一翻卡片大脑里就自动建立了联想网络。关于书和资料我的建议是不要贪多。入门阶段把《凤凰架构》里关于可用性、扩展性、一致性这几章多读几遍进阶阶段直接去读DDIA《数据密集型应用系统设计》的核心章节。国内社区里一些大厂的公众号复盘文章也值得看但要注意分辨系统性从“面经式”的内容里提炼可复用的方法和原则。我还想特别强调一点系统设计能力是练出来的不是看出来的。你在公司里接到一个小需求也试着从全局想一想——这个接口如果流量翻十倍还扛得住吗这个存储如果数据量翻百倍还能查得动吗把这些思考记录下来比背十个面试题案例有用得多。我这份笔记真正沉淀下来的恰恰是那些在真实系统中摸爬滚打后的碎片经验它们是任何培训班都给不了你的东西。回头再聊聊最初的问题如果此刻你打算开始建立自己的system-design笔记我会建议你直接从最熟悉的业务系统入手。把你现在负责的模块画出来标注出每一层的瓶颈点和容错策略然后对照着这篇笔记里的知识点查漏补缺。遇到不懂的概念就去查、去验证、去改写自己的笔记。这样持续迭代两三个月你会明显感觉到自己看系统的眼光不一样了。

相关新闻

instant-ngp在Ubuntu 20.04下的三维重建全流程实践:编译、训练到mesh导出

instant-ngp在Ubuntu 20.04下的三维重建全流程实践:编译、训练到mesh导出

做三维重建或者NeRF相关工作的朋友,应该对instant-ngp不陌生。英伟达开源的这套Instant Neural Graphics Primitives,核心突破在于把传统NeRF需要几小时甚至几天的训练压缩到了分钟级甚至秒级,配合RTX显卡,几十秒训练、实时渲染&a…

2026/11/13 5:36:36 阅读更多 →
SymPy 生物力学建模实战:为人体手臂-杠杆模型添加 DeGroote2016 肌肉肌腱作动器

SymPy 生物力学建模实战:为人体手臂-杠杆模型添加 DeGroote2016 肌肉肌腱作动器

SymPy 生物力学建模实战:为人体手臂-杠杆模型添加 DeGroote2016 肌肉肌腱作动器 【免费下载链接】sympy A computer algebra system written in pure Python 项目地址: https://gitcode.com/GitHub_Trending/sy/sympy 导读 本文基于 SymPy 仓库中的官方教程…

2026/10/29 3:24:08 阅读更多 →
SpringBoot+SSM构建酒店VIP管理系统实战

SpringBoot+SSM构建酒店VIP管理系统实战

1. 项目背景与核心价值酒店行业在数字化浪潮中正经历着深刻变革,VIP客户管理作为提升复购率和客户黏性的关键环节,传统手工登记Excel表格的管理方式已显露出明显短板。去年帮某连锁酒店做系统升级时,他们前台经理给我看了一沓皱巴巴的会员登记…

2026/11/5 16:29:18 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻