云平台存储路线比较分析存储虚拟化、分布式存储、网络共享文件存储导读随着金融数字化转型的推进和深入大家在选择云架构时开始考虑的更长远、更谨慎。一方面会从企业级、集团级和行业级整体发展演进的眼光进行整体规划避免出现云或资源池的孤岛林立另一方面采用自主可控的信创云架构也成为众多金融企业的重要抉择。本文对云平台存储数据的类型、云平台存储路线的选型进行了分析比较。作者程宗憬银行资深工程师引言时下信创已成为了我国社会经济发展最关键的一环而在推进信创产业发展的过程中“云”起着承上启下的核心作用。随着数字经济时代到来金融领域对信息技术软硬件的依赖程度不断加深为云服务行业发展提供良好的发展契机。随着金融数字化转型的推进和深入大家在选择云架构时开始考虑的更长远、更谨慎。一方面会从企业级、集团级和行业级整体发展演进的眼光进行整体规划避免出现云或资源池的孤岛林立另一方面采用自主可控的信创云架构也成为众多金融企业的重要抉择。下文就信创云平台存储路线的选型做一些探讨。一、云平台存储数据的类型从数据格式来看一般云平台数据存储通常可以分为块存储、文件存储、对象存储三个种类。不同类型的存储技术在云平台中有不同的特点和适用场景。企业应根据自身的业务需求和数据特点选择最合适的存储类型以满足数据的安全、高性能、可扩展性和成本效益等要求。但在实际环境中一般以使用场景作为区别主要包括虚拟机存储、数据库存储、非结构化数据存储等。1. 虚拟机存储虚拟机存储是指用于存储虚拟机镜像、操作系统、应用程序和用户数据的存储。一般而言虚拟机存储较大且普遍超过10GB单个虚机的IOPS时延要求较低同时可用性要求较高。企业中虚拟机的数量一般成百上千台大量存储需求为企业配置云存储带来了挑战。从使用角度虚机存储又可分为如下几类。1虚拟机存储虚拟机磁盘是虚拟机的主要存储介质用于保存虚拟机的操作系统、应用程序和用户数据。2镜像存储用于保存虚拟机镜像包括预定义的虚拟机模板、操作系统映像和应用程序镜像。3快照存储用于保存虚拟机快照它是虚拟机当前状态的备份可以在需要时快速还原虚拟机到之前的状态。4备份存储用于保存虚拟机的备份数据备份存储是对虚拟机磁盘和数据的定期备份以确保数据的安全性和可靠性。5冷存储用于保存不常用的虚拟机或数据这些数据很少被访问但需要长期保存。在选择云平台存储技术路线时应充分考虑需求与成本之间的关系。主要考虑因素包括如下几个方面。1性能虚拟机存储的性能直接影响虚拟机的运行效率和响应时间。对于需要高性能的应用程序需要选择具备高性能的虚拟机存储这部分需求成本较高。2可用性虚拟机存储应具备高可用性确保虚拟机和数据的持久性冗余和备份机制是确保虚拟机存储可用性的关键。3成本效益不同类型的虚拟机存储解决方案在成本上可能有较大差异。企业应根据实际需求和预算限制选择最符合成本效益的云平台存储方案。因此在实际的建设中可考虑构建统一管理的不同类别资源池同时每个资源池支持动态拓展并有效提升存储资源的管理和使用效率。结合虚拟机存储的使用特点存储资源池可使用SSD、SAS接口的磁盘甚至SATA接口的磁盘。2. 数据库存储数据库存储是一种用于存储和管理数据库数据的存储系统。云平台提供各种类型的数据库存储服务包括关系型数据库、非关系型数据库和数据仓库等。云平台数据库存储通常支持多种数据库引擎满足不同应用的需求。1弹性扩展允许根据业务需求进行弹性扩展自动调整存储容量和计算资源。这使得数据库能够适应不断增长的数据量和访问负载无需手动干预。2高可用性和冗余通常提供高可用性和冗余机制数据会被自动复制到多个存储节点或数据中心以防止数据丢失和灾难性故障。3安全性和权限管理需要重视数据的安全性提供数据加密和访问控制等安全特性可以对数据库进行权限管理限制不同用户或角色的访问权限。企业在选择云平台数据库存储时首先要明确业务需求。不同类型的数据库适用于不同的应用场景关系型数据库适合事务处理而非关系型数据库适合处理大规模的非结构化数据。同时也要考虑性能根据应用的性能要求选择合适的数据库存储。关系型数据库通常具有较高的事务处理能力而非关系型数据库则更擅长处理大量的并发读写操作。云平台数据库存储的高可用性和冗余机制对于关键业务非常重要。企业需要确保所选择的数据库存储能够提供高可用性和数据备份能力以防止数据丢失和业务中断。当然从控制成本的角度需要根据实际预算来选择合适的数据库存储服务。3. 非结构化数据存储NAS、分布式文件存储和对象存储都是非结构化数据存储管理可采用的技术。如果数据不是大容量、对性能和高可用有要求通常采用NAS存储例如在容器云环境实现持久化存储。如果数据是视频等大容量数据、数据量超大如达到PB级以上应用支持S3协议对象存储的扩展性更好、维护成本更低例如在容器云环境实现日志数据归档。二、云平台存储主要路线1. 存储虚拟化存储虚拟化是在云计算环境下将底层的物理存储设备抽象为逻辑存储池以提供更加灵活、高效和简化的存储资源管理和配置。通过存储虚拟化企业可以实现对不同存储设备的集中管理并将其汇聚成统一的存储池使得存储资源的利用率得到提高数据的迁移和调整变得更加便捷。其实现方式更多的是对传统块存储SAN的虚拟化。而为了更好的实现异构存储的统一纳管一般采用统一存储网关实现存储的虚拟化。存储虚拟化网关是一种连接本地存储与云存储之间的中间层将本地存储资源与云存储服务进行无缝集成。它充当了本地存储和云存储之间的桥梁使得企业可以通过统一的接口来管理和访问不同存储系统的数据。云存储需求中数据的备份迁移、复制及同步、集中管理、数据安全甚至是协议转换均可通过虚拟化网关实现。存储虚拟化网关的好处在于它可以帮助企业充分利用现有的本地存储资源并将其扩展到云存储中从而实现存储资源的高效管理和利用。不足之处就是在海量并发数据请求下存储虚拟化网关作为一个中间层可能会引入性能瓶颈尤其是在数据传输和处理方面引入了单点故障网关的故障将会对整个存储系统的可用性增加成本从设备的采购、配置管理等均加大了企业的投入。综上存储虚拟化的主要的使用场景还是在传统IT环境及私有云环境。自然面向的也是高IO负载低读写延迟等重要应用业务环境比如数据库。是对传统集中式存储的一种升级及扩展。2. 分布式存储分布式存储是相对于集中式存储而言的。它将数据分散存储在多个节点或设备上而不是集中存储在单一的存储设备中。在云平台中分布式存储是较为常见的数据存储方式特别适用于大规模的数据存储和处理场景。相对于集中式的存储虚拟化而言分布式存储包含①高可用性分布式存储将数据副本分散到多个节点上当某个节点发生故障时其他节点可以继续提供数据访问和服务从而保障了系统的可用性②性能提升允许数据在多个节点上并行访问从而提高数据读写速度和系统整体性能③数据冗余数据在多个节点上存储多副本提供数据冗余防止数据丢失和损坏。不足之处则是系统相对复杂数据的一致性保障具有一定的困难多副本之间的数据一致性对分布式存储系统来说是一个大的挑战同时多副本强一致的要求也会给存储系统带来网络延迟的问题。因此分布式存储多适用于需要存储大规模数据和进行复杂数据处理的场景如大数据分析、人工智能应用等同时可用于云平台需要分布式存储来支撑大量用户的数据存储和访问需求场景。分布式存储和对象存储是包含关系分布式存储是一种存储节点的物理组织形态分布式存储可以提供块、文件、和对象存储服务。对象存储是一种基于对象的存储模型它赋予每个对象唯一的标识符而不像传统的文件系统以层级目录结构存储。在分布式对象存储服务中数据被分散存储在多个节点或设备上实现数据的高可用性和可靠性。3. 网络共享文件存储这里提一下云平台也比较常用的NAS数据存储。NAS存储专门用于存储共享数据通过网络为多个用户及客户端提供文件级别的存储和访问服务。一般使用独立的硬件设备作为一种云服务使用。实际应用中有部分数据存储的场景更加适合以太网传输也更适合以文件系统为载体。存储虚拟化的数据要想实现跨地域的传输在成本上、灵活性上都显得异常困难。因此在对存储技术路线进行选型时必须要考虑这部分数据存储的需求。综上在云平台中进行数据存储路线的选型是一个关键且复杂的任务涉及到数据的安全性、性能、可扩展性和成本效益等方面。首先要明确企业或用户的数据类型包括结构化数据、非结构化数据和半结构化数据等。确定数据的访问频率、并发用户数以及读写操作等这些因素将影响存储系统的性能要求考虑数据的安全特别对于敏感数据根据数据特点和需求可以选择不同类型的存储技术存储虚拟化、NAS网络存储或分布式存储等。还要考虑使用本地存储设备还是云存储服务或者结合两者的混合存储方式考虑性能要求根据数据访问需求和应用程序的要求选择适当的存储性能包括读写速度、IOPS等。