一、数据采集掌握数据采集又称数据收集是指根据用户需要收集相关数据的过程。1. 采集的数据类型类型说明结构化数据以关系型数据库表管理的数据半结构化数据非关系模型的、有基本固定结构模式的数据如日志文件、XML文档、E-mail等非结构化数据没有固定模式的数据如办公文档、文本、图片、HTML、报表、图像和音频/视频信息等2. 数据采集的方法方法说明传感器采集通过传感器感知信息并转换成电信号输出是目前应用非常广泛的一种采集方式系统日志采集通过平台系统读取、收集日志文件变化一般为流式数据数据量非常庞大网络采集通过互联网公开采集接口或网络爬虫获取数据。网络爬虫可分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型其他数据采集如通过与数据服务商合作获取数据二、数据预处理掌握数据预处理是一个去除数据集重复记录发现并纠正数据错误并将数据转换成符合标准的过程使数据实现准确性、完整性、一致性、唯一性、适时性、有效性等。1. 数据预处理流程3个步骤数据预处理的流程步骤说明数据分析从数据中发现控制数据的一般规则如字段域、业务规则等定义数据清理规则并选择算法数据检测根据预定义的清理规则及相关算法检测数据是否正确如是否满足字段域、业务规则或检测记录是否重复数据修正手工或自动地修正检测到的错误数据或重复的记录2. 数据预处理方法5种常见问题1缺失数据的预处理方法说明删除缺失值最常见、简单有效当样本数很多且缺失值占比较小时可直接丢弃均值填补法根据与缺失值属性相关系数最大的属性分组用每组均值代替缺失值热卡填补法在数据库中找到与包含缺失值变量最相似的对象用其值填充其他方法最近距离决定填补法、回归填补法、多重填补法、K-最近邻法、有序最近邻法、基于贝叶斯的方法等2异常数据的预处理方法说明分箱法通过考察数据的“近邻”平滑处理有序数据值分布到“桶”或“箱”中进行局部光滑。宽度越大效果越好回归法用一个函数拟合数据来光滑数据消除噪声。线性回归找出拟合两个属性的“最佳”直线多线性回归扩展到多个属性3不一致数据的预处理不一致数据指具有逻辑错误或数据类型不一致的数据如年龄与生日不符。可使用人工修改或借助工具如数据迁移工具、ETL工具进行数据变换。4重复数据的预处理去除重复值一般在最后进行可使用Excel、VBA、Python等工具处理。5格式不符数据的预处理将不同类型的数据内容清洗成统一类型的文件和统一格式如TXT、CSV、Excel、HTML、PDF统一为Excel统一调整时间、日期、数值格式及空格、引号等。三、数据存储掌握1. 数据存储介质存储介质是数据存储的载体主要有磁带、光盘、磁盘、内存、闪存、云存储等。应根据不同应用环境合理选择。2. 存储形式3种存储形式描述文件存储文件级或基于文件的存储数据存储在文件中文件组织在文件夹中文件夹组织在目录和子目录的层次结构下块存储块级存储将数据存储成块每个块有唯一标识符。适用于需要快速、高效、可靠传输数据的计算场景对象存储基于对象的存储用于处理大量非结构化数据如电子邮件、视频、照片、网页、音频文件、传感器数据等无法轻易组织到传统关系数据库中3. 存储管理管理方面主要内容资源调度管理添加或删除存储节点编辑节点信息设定存储资源归属包含存储控制、拓扑配置及网络设备故障隔离存储资源管理管理和监控物理和逻辑层次上的存储资源如RAID、磁带、光盘库包括容量管理、配置管理、事件报警等负载均衡管理避免存储资源因类型、访问频率和时间不均衡造成浪费或形成系统瓶颈安全管理防止恶意用户攻击系统或窃取数据包括DoS攻击、勒索病毒攻击、入侵破坏等四、数据归档掌握数据归档是将不活跃的“冷”数据从可立即访问的存储介质迁移到查询性能较低、低成本、大容量的存储介质中过程可逆。注意事项数据归档一般在业务低峰期执行避免大量使用网络对线上业务造成压力。归档后会删除生产数据库的数据可能造成数据空洞表空间未及时释放长时间无新数据填充会造成空间浪费。如果归档影响线上业务应及时止损结束归档并进行问题复盘。五、数据备份掌握1. 备份结构4种备份结构描述DAS备份结构备份设备直接连接到备份服务器适合数据量不大、操作系统类型单一、服务器数量有限的情况基于LAN的备份结构C/S模型多个服务器或客户端通过局域网共享备份系统。优点是可共享备份设备、集中管理缺点是备份数据流与业务数据流混合占用网络资源LAN-FREE备份结构将备份数据流和业务数据流分开业务数据流通过业务网络传输备份数据流通过SAN传输。缺点是备份数据流经过应用服务器影响正常服务SERVER-FREE备份结构LAN-FREE的改进不依赖应用服务器通过第三方备份代理使用NDMP协议直接从应用服务器的存储设备将数据传送到备份设备2. 备份策略3种备份策略对比备份策略说明完全备份Full Backup每次都对需要进行备份的数据进行全备份。缺点占用较多服务器和网络资源备份数据大量重复差分备份Differential Backup每次只备份相对上一次完全备份之后发生变化的数据。时间短、节省空间恢复方便只需完全备份最后一次差分备份增量备份Incremental Backup每次只备份相对于上一次备份后改变的数据。节省空间和时间但恢复复杂任一增量备份数据出问题会导致后续数据无法恢复可靠性较低六、数据容灾掌握数据备份是数据容灾的基础。衡量容灾系统的两个主要指标指标说明RPO恢复点目标灾难发生时允许丢失的数据量RTO恢复时间目标系统恢复的时间数据容灾的关键技术技术说明远程镜像技术在主数据中心和备份中心之间进行数据备份时用到的远程复制技术。按主从镜像位置分为本地镜像同一RAID和远程镜像城域网或广域网灾难发生时异地数据不受影响快照技术关于指定数据集合的一个完全可用的复制是某个时间点的映像。作用①在线数据恢复恢复到快照产生时间点②为用户提供另一个数据访问通道如利用快照进行测试、开发验证、数据分析等本章真题小测第一篇Q1不属于需要进行数据预处理的促成因素。A. 数据缺失 B. 数据不一致 C. 数据安全 D. 数据重复Q2衡量容灾系统或能力的主要指标是。A. 远程镜像技术 B. RTO/RPO C. 异地容灾 D. 数据备份策略Q3以下哪种备份策略每次备份的数据只是相对于上一次备份后改变的数据A. 完全备份 B. 差分备份 C. 增量备份 D. 镜像备份 答案Q1 答案C解析数据预处理处理的问题缺失、重复、不一致、异常噪声数据。A 数据缺失、B 数据不一致、D 数据重复 → 都是预处理要解决的问题。C 数据安全属于数据安全防护范畴不是要预处理的原因。Q2 答案B解析RTO恢复时间目标、RPO恢复点目标是衡量容灾能力两大核心指标。A 远程镜像、C 异地容灾、D 备份策略属于容灾实现技术 / 方案不是衡量指标。Q3 答案C解析增量备份只备份相对于上一次备份之后变化的数据。A 完全备份全部数据完整备份。B 差分备份备份相对于上一次完全备份之后变化的数据。D 镜像备份完整复制一份数据副本。✅汇总答案Q1CQ2BQ3C