详解分库分表
一、什么时候要分库分表数据量级达标业务数据快速增长单表数据量达到1000万行或20GB阈值。常规优化失效已尝试主从读写分离、索引优化等手段但仍无法解决性能瓶颈。资源达到瓶颈IO瓶颈磁盘IO或网络IO达到上限。CPU瓶颈因聚合查询频繁或数据库连接数过多导致CPU负载过高。二、分库分表的拆分策略1、垂直拆分垂直分库定义按照业务功能将不同的表拆分到不同的数据库中。核心逻辑专库专用。原本一个电商数据库里有用户表、订单表、商品表。现在拆分成三个独立的数据库用户库、订单库、商品库。优点业务解耦不同业务线互不影响某个库宕机不会导致全站瘫痪。分担压力不同库可以部署在不同的服务器上分担了单台服务器的CPU、IO和连接数压力。便于扩展针对高并发的业务如订单可以单独增加订单库的服务器配置缺点分布式事务跨库操作如扣库存生成订单变得复杂需要引入分布式事务如Seata。跨库Join原本一条SQL能关联查询的数据现在需要在应用层组装或通过微服务接口调用。运维成本数据库实例增多运维复杂度上升。垂直分表定义按照字段列的活跃度或大小将一张宽表拆分成多张表。核心逻辑将不常用、大字段如Text、Blob拆分到扩展表中主表只保留常用、查询频率高的字段。优点提升查询效率单表数据量不变行数不变但单行数据变小一个数据页能存更多行减少了磁盘IO内存命中率更高。避免跨页避免因大字段导致行溢出影响主键索引效率。缺点需要关联查询查完整信息需要Join两张表。事务一致性插入数据时需要同时向两张表插入需保证事务。2、水平拆分水平分库定义将同一个表的数据按照某种规则如ID取模、时间范围拆分到多个数据库中。核心逻辑每个数据库的表结构完全相同只是存储的数据不同。解决单表数据量过大的问题。比如有1亿用户拆成4个库每个库存2500万。优点解决海量数据存储单库容量有上限水平分库理论上可以无限扩展存储。大幅提升并发请求被打散到多个数据库实例极大提升了系统的吞吐量。缺点数据路由复杂需要中间件如ShardingSphere或应用层代码来计算数据落在哪个库。全局ID问题不能再用单库自增ID需要分布式ID生成器如雪花算法。扩容困难如果需要增加数据库节点历史数据需要重新迁移通常用一致性Hash解决。水平分表定义在同一个数据库内按照某种规则如ID取模、时间范围将一张数据量巨大的表拆分成多张表结构完全相同的小表。核心逻辑解决单表数据量过大导致的查询性能下降问题。比如一张订单表有1亿条数据拆分成order_0、order_1、order_2、order_3四张表每张表存储2500万条数据。优点提升查询效率单表数据量变小B树索引层级变浅磁盘IO减少查询速度显著提升。实现相对简单相比水平分库不需要考虑跨库网络通信、分布式事务等复杂问题只需在应用层做SQL路由即可。成本低不需要额外购买数据库服务器只需在现有数据库实例中建多张表缺点无法分担服务器压力所有表仍在同一个数据库实例中CPU、内存、磁盘IO、网络IO瓶颈依然存在。这是水平分表与水平分库最本质的区别。单库容量仍有上限受限于单台服务器的磁盘容量数据总量无法无限扩展。全局ID问题不能再用单表自增ID需要分布式ID生成器如雪花算法。跨表查询复杂原本一条SQL能查全量数据现在需要在应用层做聚合如分页、排序、统计。运维成本增加表数量增多DDL变更如加字段需要执行多次。

相关新闻

基于MATLAB的多特征融合火灾检测系统GUI实现

基于MATLAB的多特征融合火灾检测系统GUI实现

控制室里的监控画面往往是最枯燥的,但一旦画面里出现不该有的红色,谁都不敢大意。之前给某个厂区做安防监控需求评估时,对方问能不能用现有摄像头自动识别早期火情,不需要换硬件,最好快速出一版可演示的原型。当时我第…

2026/11/16 19:16:09 阅读更多 →
模型卡与系统卡:从 Hugging Face 模板到 AI Act 证据链(Annex IV 差距审计)

模型卡与系统卡:从 Hugging Face 模板到 AI Act 证据链(Annex IV 差距审计)

摘要 10-16/01 画了合规义务地图,本文落地「证据」——模型卡/系统卡不是 PR 物料,而是 EU AI Act 的法定证据。Annex IV 要求高风险系统投放前拟就一份九点技术文件,Article 13(3) 规定部署方收到的使用说明,Article 18 要求文件…

2026/11/21 0:53:18 阅读更多 →
VL53L4CD ToF测距传感器结合CircuitPython:从参数配置到多传感器实战

VL53L4CD ToF测距传感器结合CircuitPython:从参数配置到多传感器实战

1. 项目概述与核心价值距离传感器在嵌入式项目里一直是"存在感很强但总被低估"的角色。做智能垃圾桶的翻盖、做避障小车、做人员靠近检测,都会用到测距。早期大家习惯用红外或超声波,各有各的痛点——超声波在吸音材料面前直接失灵&#xff0c…

2026/11/21 17:33:46 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻