Hadoop 高可用(HA)集群搭建全攻略:双NameNode + Yarn 实战
摘要在大数据生产环境中Hadoop NameNode 的单点故障SPOF是致命隐患。本文将手把手带领大家从零搭建一套Hadoop 3.2.1 高可用HA集群。架构基于Zookeeper JournalNode实现双 NameNode 自动故障转移并整合了Yarn资源调度器。文章包含详细的主机角色规划、关键配置文件参数解析以及完整的启动与验证步骤适合Hadoop初学者及运维工程师参考。一、 高可用集群架构设计在 Hadoop 2.x 及以后版本HA 架构通过引入JournalNode (JN)集群来消除单点故障。两个 NameNodeActive/Standby通过 JN 集群共享元数据编辑日志EditLog。1.1 核心组件说明ZooKeeper (ZK)用于选举和状态存储保证集群的高可用协调。ZKFailoverController (ZKFC)运行在 NameNode 节点上的守护进程监控 NN 状态通过 ZK 实现自动主备切换。JournalNode (JN)负责同步两个 NameNode 的 EditLog必须部署奇数个通常3个以保证多数派写入成功。DataNode (DN)数据存储节点同时向 Active 和 Standby 的 NameNode 汇报数据块状态。1.2 硬件与主机规划表本次搭建共规划 5 台服务器内网 IP 段为 192.168.38.x具体角色分配如下角色/主机名namenodemaster (192.168.38.165)yarnserver (192.168.38.166)slave001 (192.168.38.162)slave002 (192.168.38.163)slave003 (192.168.38.164)NameNode✅主✅备❌❌❌ZKFC✅✅❌❌❌JournalNode❌❌✅✅✅ZooKeeper❌❌✅✅✅DataNode❌❌✅✅✅ResourceManager❌✅❌❌❌NodeManager❌❌✅✅✅JobHistoryServer❌✅❌❌❌二、 核心配置文件详解 (基于hadoop-3.2.1)在配置 HA 集群时core-site.xml和hdfs-site.xml的改动最大。1.core-site.xml(全局核心配置)注意fs.defaultFS的名称必须与hdfs-site.xml中的dfs.nameservices严格一致。configuration !-- 指定 HDFS 的逻辑名称服务 (必须与 hdfs-site.xml 一致) -- property namefs.defaultFS/name valuehdfs://bigdata/value /property !-- Hadoop 临时数据目录 -- property namehadoop.tmp.dir/name value/opt/bigdata/hadoop/tmp/value /property !-- ZooKeeper 集群地址 (务必填满3个节点) -- property nameha.zookeeper.quorum/name valueslave001:2181,slave002:2181,slave003:2181/value /property !-- 开启垃圾回收站 (防止误删数据, 单位: 分钟) -- property namefs.trash.interval/name value1440/value !-- 保留1天 -- /property /configuration2.hdfs-site.xml(HDFS HA 核心配置)注意这是 HA 的精髓所在务必保证 JournalNode 集群的地址完全准确。configuration !-- 1. 逻辑服务名称 (与 core-site.xml 对应) -- property namedfs.nameservices/name valuebigdata/value /property !-- 2. HA 集群中两个 NameNode 的唯一标识 -- property namedfs.ha.namenodes.bigdata/name valuenn1,nn2/value /property !-- 3. nn1 和 nn2 的 RPC 通信地址 -- property namedfs.namenode.rpc-address.bigdata.nn1/name valuenamenodemaster:9000/value /property property namedfs.namenode.rpc-address.bigdata.nn2/name valueyarnserver:9000/value /property !-- 4. nn1 和 nn2 的 HTTP Web UI 地址 -- property namedfs.namenode.http-address.bigdata.nn1/name valuenamenodemaster:9870/value !-- Hadoop 3.x 默认是 9870 -- /property property namedfs.namenode.http-address.bigdata.nn2/name valueyarnserver:9870/value /property !-- 5. 共享 EditLog 目录 (JournalNode 集群地址, 必须是 3 个) -- property namedfs.namenode.shared.edits.dir/name valueqjournal://slave001:8485;slave002:8485;slave003:8485/bigdata/value /property !-- 6. 开启自动故障转移 -- property namedfs.ha.automatic-failover.enabled.bigdata/name valuetrue/value /property !-- 7. 故障转移实现类 -- property namedfs.client.failover.proxy.provider.bigdata/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property !-- 8. JournalNode 本地存储目录 -- property namedfs.journalnode.edits.dir/name value/opt/bigdata/hadoop/journaldata/value /property !-- 9. 副本数 (由于只有3个DN配置为3) -- property namedfs.replication/name value3/value /property !-- 10. 隔离机制 (Fencing防止脑裂) -- property namedfs.ha.fencing.methods/name valueshell(/bin/true)/value /property !-- 11. NameNode 元数据本地目录 -- property namedfs.namenode.name.dir/name value/opt/bigdata/hadoop/namenode/value /property !-- 12. DataNode 数据本地目录 -- property namedfs.datanode.data.dir/name value/opt/bigdata/hadoop/datanode/value /property !-- 13. 块大小 -- property namedfs.block.size/name value134217728/value !-- 128M -- /property /configuration3.yarn-site.xml(Yarn 核心配置)注意本文中 ResourceManager 部署在单节点yarnserver上。configuration property nameyarn.resourcemanager.hostname/name valueyarnserver/value /property !-- 为了方便 MR 任务运行 -- property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property !-- 本地日志与中间结果目录 (建议多磁盘) -- property nameyarn.nodemanager.local-dirs/name value/opt/bigdata/hadoop/nm-local/value /property property nameyarn.nodemanager.log-dirs/name value/opt/bigdata/hadoop/nm-log/value /property !-- 节点资源限制 -- property nameyarn.nodemanager.resource.memory-mb/name value8192/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value8/value /property /configuration4.mapred-site.xml(计算框架配置)configuration property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.jobhistory.address/name valueyarnserver:10020/value /property property namemapreduce.jobhistory.webapp.address/name valueyarnserver:19888/value /property /configuration三、 高可用集群启动全过程⚠️ 环境前置条件已在所有服务器上配置好 Java 环境、SSH 免密登录、Hosts 解析。步骤 1启动并格式化 ZooKeeper在slave001,slave002,slave003上分别启动 ZK[hadoopslave001 ~]$ cd /opt/bigdata/zookeeper/current/bin [hadoopslave001 ~]$ ./zkServer.sh start在任一 NN 节点如 namenodemaster格式化 ZK 状态只需执行一次[hadoopnamenodemaster ~]$ hdfs zkfc -formatZK步骤 2启动 JournalNode 集群在 3 个slave节点上分别启动 JN[hadoopslave001 ~]$ hdfs --daemon start journalnode步骤 3格式化并启动主 NameNode 核心技巧为了防止 ClusterID 不一致导致备节点无法同步格式化时必须强制指定-clusterId。# 1. 格式化 Active NN [hadoopnamenodemaster ~]$ hdfs namenode -format -clusterId bigdataserver # 2. 启动 Active NN [hadoopnamenodemaster ~]$ hdfs --daemon start namenode步骤 4备 NameNode 同步元数据在备节点yarnserver上执行bootstrapStandby这一步会从主节点拉取最近的 fsimage[hadoopyarnserver ~]$ hdfs namenode -bootstrapStandby步骤 5启动备 NameNode 与 ZKFC# 1. 启动 Standby NN [hadoopyarnserver ~]$ hdfs --daemon start namenode # 2. 在 主、备 两个节点都启动 ZKFC (监控与切换程序) [hadoopnamenodemaster ~]$ hdfs --daemon start zkfc [hadoopyarnserver ~]$ hdfs --daemon start zkfc步骤 6启动 DataNode 集群# 在 3 个 slave 节点上分别启动 DN [hadoopslave001 ~]$ hdfs --daemon start datanode步骤 7启动 Yarn 服务# 在 yarnserver 节点启动 ResourceManager [hadoopyarnserver ~]$ yarn --daemon start resourcemanager # 在 3 个 slave 节点启动 NodeManager [hadoopslave001 ~]$ yarn --daemon start nodemanager # 在 yarnserver 启动 JobHistoryServer [hadoopyarnserver ~]$ mapred --daemon start historyserver四、 高可用功能验证1. 验证 Web UI 状态打开浏览器访问主 NNhttp://namenodemaster:9870- 状态应显示active。备 NNhttp://yarnserver:9870- 状态应显示standby。2. 测试自动故障转移 (Failover)在namenodemaster模拟主节点宕机hdfs --daemon stop namenode。等待约 10-20 秒刷新yarnserver:9870的 Web UI。见证奇迹的时刻状态已自动切换为active。数据可用性验证在yarnserver切换为 Active 后执行hdfs dfs -ls /或上传文件集群服务依然正常HA 生效五、 常见踩坑与排错建议 (Troubleshooting)JournalNode 无法写入原因通常是因为 3 个 JN 中有的节点没启动。解决必须保证 3 台 JN 全部正常运行jps查看JournalNode因为 HA 要求多数派写入成功。备节点无法同步 (bootstrapStandby失败)原因之前格式化主节点时没有手动指定-clusterId导致主备 ClusterID 不一致。解决使用-clusterId bigdataserver重新格式化 Active NN并删除备节点dfs.namenode.name.dir目录下的旧数据重新执行bootstrapStandby。ZKFC 无法自动切换原因ZooKeeper 集群未启动或者zkfc -formatZK未执行。解决检查zkServer.sh status确保 3 个 ZK 节点形成 Quorum。 作者寄语Hadoop HA 是生产环境大数据的基石其核心在于Zookeeper、JournalNode和ZKFC这三个组件的协同。搭建时一定要有耐心按顺序执行每一步多看日志logs/目录下的日志文件是最好的老师。(全文完如果对您有帮助欢迎点赞收藏)

相关新闻

ADI精密数模转换器选型、设计与调试全攻略

ADI精密数模转换器选型、设计与调试全攻略

1. 项目概述:为什么是ADI的精密数模转换器? 如果你在工业控制、医疗设备或者高端测试测量领域工作,那么“精密数模转换器”这个词对你来说一定不陌生。它就像连接数字世界和模拟世界的“翻译官”,负责把控制器里那些精确的0和1&am…

2026/11/20 19:15:20 阅读更多 →
Copilot 写的预处理漏了训练集,我补完数据预处理课才揪出那行 fillna

Copilot 写的预处理漏了训练集,我补完数据预处理课才揪出那行 fillna

Copilot 写的预处理漏了训练集,我补完数据预处理课才揪出那行 fillna 上周三下午四点,运营总监在群里催客户流失预测模型 V2 的排期,我回了一句「这周五能上灰度」。底气来自两个新装的 AI 编程助手--Copilot 和 CodeWhisperer,帮我把特征清洗、缺失值填充、标准化一口气生成了…

2026/11/20 19:15:20 阅读更多 →
65V微功耗Buck降压转换器选型与PCB布局实战

65V微功耗Buck降压转换器选型与PCB布局实战

最近在做一块工业控制板卡的辅助电源改造,负载侧需要从48V总线上拉出一路5V/300mA的供电轨,给MCU、通信接口和传感器调理电路用。翻了半天方案,最终还是选了65V输入的微功耗Buck降压转换器。这类器件在自动化场景里非常典型:输入电…

2026/11/10 11:40:28 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻