让存储像水一样按需取用存储虚拟化技术全解析——从本地硬盘到分布式存储云计算的数据仓库是如何建的开篇 · 一个存储的困境某企业的IT现状2010年10台服务器每台配2块1TB硬盘总共20TB存储 问题服务器A的硬盘只用50%服务器B的硬盘已经100%…… 结果存储资源无法共享浪费严重引入存储虚拟化后2020年10台服务器 1套存储阵列总共50TB存储池 结果所有服务器共享存储池资源动态分配利用率从50%提升到85%这就是存储虚拟化的价值 第一节存储虚拟化基础什么是存储虚拟化存储虚拟化 将不同存储设备抽象为统一的数据存储屏蔽底层差异打个比方存储虚拟化就像**“水库”**—— 多个水源不同存储设备的水都汇入水库存储池用户用水时只需要从水库取不需要关心水来自哪个水源。存储虚拟化的核心价值价值说明类比资源池化多块硬盘/多个存储设备 → 一个资源池水库多个水源汇成一个灵活调度存储空间动态分配按需扩展水龙头开多大水流就多大屏蔽差异不同品牌、不同接口的存储设备统一呈现插座不管插头怎么造都能插高可靠性多副本、快照、容灾保险箱多份备份️ 第二节存储基础概念存储设备类型类型全称特点适用场景DASDirect-Attached Storage直接连接服务器独享小规模、高性能要求SANStorage Area Network高速网络连接的存储多服务器共享企业级、高IOPSNASNetwork-Attached Storage文件级存储通过以太网访问文件共享、归档分布式存储Distributed Storage多台服务器组成存储池云计算、大数据 对比DAS 私家车库独享但浪费SAN 公共停车场共享高效NAS 文件柜文件级共享分布式存储 分布式仓库海量、弹性存储接口协议协议全称速度特点SCSISmall Computer System Interface低速传统协议块存储iSCSIInternet SCSI1-10GbpsIP网络承载SCSI成本低FCFibre Channel8-32Gbps专用网络高性能FCoEFibre Channel over Ethernet10-40GbpsFC跑在以太网上NVMe-oFNVMe over Fabrics极高新一代协议低延迟 第三节存储资源封装存储虚拟化的三层模型┌─────────────────────────────────────┐│ 虚拟机VM │ ← 看见的是虚拟磁盘├─────────────────────────────────────┤│ 数据存储Datastore │ ← 逻辑容器├─────────────────────────────────────┤│ 存储资源LUN/文件系统 │ ← 物理存储单元├─────────────────────────────────────┤│ 存储设备SAN/NAS/本地 │ ← 物理硬件└─────────────────────────────────────┘关键概念概念说明类比LUNLogical Unit Number存储设备上划分的逻辑单元硬盘分区数据存储对存储资源的统一封装虚拟机在其上创建虚拟磁盘文件夹虚拟磁盘虚拟机看到的硬盘实际上是数据存储里的一个文件文件可以封装为数据存储的存储单元① SAN存储上的LUN→ iSCSI或光纤通道SAN存储上划分的LUN→ 块存储高性能② NAS存储上的文件系统→ NFS或CIFS文件系统→ 文件存储方便共享③ 分布式存储如FusionStorage→ 多台服务器上的硬盘组成存储池→ 高可靠、弹性扩展④ 本地存储→ 服务器本地硬盘→ 性能低无高可用 第四节存储虚拟化关键技术精简配置Thin Provisioning考试重点传统厚配置Thick Provisioning问题创建虚拟机时分配100GB空间立即占用100GB物理存储结果资源浪费严重实际只用20GB却占了100GB精简配置Thin Provisioning原理创建虚拟机时只分配逻辑空间物理空间随用随分配结果资源利用率大幅提升10台虚拟机各分配100GB实际只用200GB物理存储 大白话厚配置 买房100㎡全款付清不管住不住精简配置 租房100㎡按月付租金用多少付多少快照技术Snapshot快照 某一时刻的数据状态副本打个比方快照就像**“存档”**—— 打游戏时保存进度如果后面打输了可以读档重来。快照就是数据的存档如果数据损坏了可以恢复到快照时刻的状态。快照类型类型原理优点缺点COWCopy-On-Write快照时只记录元数据写入新数据时复制旧数据快照速度快读性能略降ROWRedirect-On-Write快照时重定向写入到新位置写性能好读性能略降克隆Clone完整复制一份数据独立副本不影响原数据占用空间大链接克隆Linked Clone链接克隆 多个虚拟机共享同一个母镜像每个虚拟机只保存差异数据打个比方链接克隆就像**“共享文档个人修订”**—— 10个人协作编辑一个文档只需要保存一份原文档每个人只保存自己的修订部分节省存储空间。核心价值节省存储空间10台虚拟机只占用1.1倍空间快速部署秒级创建虚拟机适合桌面云、开发测试场景 第五节分布式存储传统存储 vs 分布式存储对比项传统存储SAN/NAS分布式存储架构集中式单点故障风险分布式无单点故障扩展垂直扩展换更大存储水平扩展加服务器成本高专用硬件低通用服务器性能高专用硬件高并行IO可靠性靠RAID/双控靠多副本分布式存储的核心技术① 数据分片Sharding原理将大文件切分成多个小片Chunk分散存储在不同服务器上价值并行读写提升性能② 数据副本Replication原理每个数据片保存多个副本通常3副本分散在不同服务器上价值高可靠一台服务器故障数据不丢③ 一致性哈希Consistent Hashing原理将数据均匀分布到所有服务器上增删服务器时只影响少量数据价值弹性扩展数据自动均衡 大白话 分布式存储就像**“快递仓库”**——数据分片 包裹拆成小件分散存放数据副本 每件包裹存3份放不同货架一致性哈希 包裹按规则放货架新加货架时只移动少量包裹 本章知识地图第3章存储虚拟化技术│├── 存储虚拟化基础│ ├── 定义存储资源池化屏蔽底层差异│ └── 核心价值资源池化、灵活调度、高可靠│├── 存储基础概念 ⭐⭐⭐│ ├── DAS/SAN/NAS/分布式存储│ └── SCSI/iSCSI/FC/NVMe-oF│├── 存储资源封装 ⭐⭐⭐⭐│ ├── 三层模型VM/数据存储/存储资源/存储设备│ └── LUN、数据存储、虚拟磁盘的关系│├── 存储虚拟化关键技术 ⭐⭐⭐⭐⭐│ ├── 精简配置Thin Provisioning⭐⭐⭐⭐⭐│ ├── 快照技术COW/ROW/克隆⭐⭐⭐⭐│ └── 链接克隆Linked Clone⭐⭐⭐│└── 分布式存储 ⭐⭐⭐├── 传统存储 vs 分布式存储└── 核心技术分片/副本/一致性哈希