简介一份面向大数据开发与测试人员的 Hadoop 3.2.4 安装包适合需要快速搭建分布式存储与计算环境的学习者和运维工程师。包内除核心二进制外还包含大量官方网页文档、CSS样式表、Shell启动脚本、数据库脚本以及若干属性配置文件总数达2000个文件压缩后大小约505.9MB解压即可部署单机或集群模式。目前已有225人学习下载借助该安装包用户能直观理解Hadoop的目录组织、默认端口与配置项含义熟悉常用服务启停方式当遇到节点启动失败或资源管理异常时可参考内置文档和样例快速排查。对于准备进行二次开发或搭建实验环境的用户这也是一份结构清晰、内容齐全的离线参考资料。包内附带的SQL脚本和属性模板还能帮助初始化测试数据、调整内存与副本参数进一步提升部署效率。1. 为什么偏偏是 hadoop-3.2.4安装包先把这个版本选明白某公司测试环境要临时起一套 Hadoop 给离线任务做验证我拿到 hadoop-3.2.4安装包后以为解压就能用结果从环境变量到 NameNode 格式化折腾了一整天最后发现翻车的点全在配置细节安装包本身反而是最省心的部分。Hadoop 3.2.4 是 3.x 系列里生命周期比较稳的一个维护版本JDK 8 就能跑不像 3.3.x 对 Java 版本和依赖管得那么紧也不像 2.x 那样在 YARN 特性和 HDFS 性能上明显落后。这个版本的安装包本质上就是一个 tar.gz 压缩包解压即用没有传统意义上的安装动作真正的门槛在 JDK 配套、XML 配置、SSH 免密、启动顺序这几件事。这篇文章把从解压到集群可提交作业的完整路径走一遍单机伪分布式和三节点小集群都覆盖适合需要用 Hadoop 3.2.4 快速搭环境验证代码的开发者也适合刚接手集群部署、想先把坑踩明白的运维新人。2. 装 Hadoop 3.2.4 之前JDK、用户、SSH 和目录一次理清安装包本身是绿色的但它跑在 Linux 上依赖三个前置条件JDK、SSH、目录权限。这三样不准备好后面所有报错都会显得像玄学其实全是环境问题。2.1 JDK 版本和 Hadoop 3.2.4 的匹配关系Hadoop 3.2.4 官方主推 JDK 8我也一直用 JDK 8 跑这个版本。JDK 11 能编译能启动但 YARN 里部分原生库和 Web 界面在 JDK 11 下会出现告警测试环境图省事可以忍生产环境没必要给自己加戏。先确认当前机器的 Java 情况java -version echo $JAVA_HOME which java第一条命令看版本如果输出的不是 1.8 开头后面大概率要配。第二条看JAVA_HOME环境变量Hadoop 的启动脚本hadoop-env.sh靠它找 JVM这个变量为空是后续最常见的一道坎。第三条看 java 可执行文件的实际路径用来反推 JDK 安装目录。如果机器上没有 JDK 8我的习惯是直接把 JDK 解压到固定目录不用系统包管理器因为包管理器装的 JDK 路径每个发行版都不一样写进配置文件里可读性差。解压完之后把JAVA_HOME指到解压目录并且在hadoop-env.sh里也显式写一遍这不是重复劳动是防非交互 Shell 读不到全局环境变量。2.2 用单独用户跑 Hadoop权限和日志都干净我不建议用 root 直接跑 Hadoop。虽然能启动但 HDFS 的 DataNode 目录如果落在 root 名下后续换账号维护会非常痛苦而且 YARN 容器管理在 root 下会有额外告警。常见做法是建一个专用用户sudo useradd -m -s /bin/bash hadoop sudo passwd hadoop然后所有安装、格式化、启动操作都在这个用户下做。这个用户不需要 sudo 权限但需要对自己名下的目录有完全的读写权。安装目录我一般放在/opt/hadoop数据目录单独放和安装目录分开这样将来升级安装包不用动数据sudo mkdir -p /opt/hadoop sudo mkdir -p /data/hadoop/namenode sudo mkdir -p /data/hadoop/datanode sudo mkdir -p /data/hadoop/tmp sudo chown -R hadoop:hadoop /opt/hadoop /data/hadoop参数说明namenode目录放 NameNode 的元数据datanode放实际数据块tmp是 Hadoop 运行时临时目录这三个目录在后面的 XML 配置里都会用到。把安装目录和数据目录拆开是最值得坚持的习惯血的教训是升级时忘记备份数据目录直接把整个/opt/hadoop删了。2.3 SSH 免密完全分布式的前置条件伪分布式单机可以跳过这步但只要是两个节点以上的集群SSH 免密必须提前做。Hadoop 启动脚本会通过 SSH 去 worker 节点拉起 DataNode 进程每次输密码不现实。配置方式ssh-keygen -t rsa -b 2048 -N -f ~/.ssh/id_rsa ssh-copy-id hadoopnode2 ssh-copy-id hadoopnode3 ssh node2 hostname-N 表示空密码-f指定密钥生成路径。最后一条ssh node2 hostname是验证命令能直接返回 node2 的主机名就说明免密成功。这里有个判断点如果机器上已有密钥且担心覆盖影响其他业务可以把-f换成自定义文件名然后在~/.ssh/config里给 Hadoop 相关主机单独指定IdentityFile。3. 用 hadoop-3.2.4安装包搭伪分布式从解压到进程起来单机伪分布式是最快验证安装包能不能用的方式也是很多人第一次跑 Hadoop 的起点。这一章把核心动作走一遍每一步都给命令和参数说明照着敲就能起来。3.1 解压安装包和环境变量配置先把安装包上传到服务器然后解压到前面规划好的目录。解压时我习惯先列一下包内容确认这确实是 tar.gz 而不是被二次打包过的文件tar -tzf hadoop-3.2.4.tar.gz | head -5 tar -zxvf hadoop-3.2.4.tar.gz -C /opt/hadoop ln -s /opt/hadoop/hadoop-3.2.4 /opt/hadoop/current第一条命令只查看不解压-t是列出内容-z解压 gzip-f指定文件看到输出里的hadoop-3.2.4/bin/hdfs这类路径就说明包是完整的。第二条真正解压到/opt/hadoop。第三条建软链current指向具体版本好处是以后升级 3.2.4 到 3.2.5 时只需要改软链环境变量不用动。环境变量配在/etc/profile.d/hadoop.sh里这样所有用户登录都会加载export HADOOP_HOME/opt/hadoop/current export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop配置完执行source /etc/profile.d/hadoop.sh然后验证hadoop version能输出 3.2.4。注意HADOOP_CONF_DIR一定要指到etc/hadoop否则 Hadoop 默认读$HADOOP_HOME/conf这个老路径配置文件改了不生效这是容易忽略的点。3.2 两个必改的配置文件core-site.xml 和 hdfs-site.xml伪分布式下真正必须改的只有两个文件都在$HADOOP_CONF_DIR下。先看core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configurationfs.defaultFS是 HDFS 的入口地址伪分布式写localhost:9000就行9000 是 NameNode RPC 通信端口。hadoop.tmp.dir是 Hadoop 运行时的临时根目录不手动指定的话默认落在/tmp下系统一重启全没了NameNode 元数据也会跟着丢。再看hdfs-site.xmlconfiguration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/data/hadoop/namenode/value /property property namedfs.datanode.data.dir/name value/data/hadoop/datanode/value /property /configurationdfs.replication是副本数单机只有一个 DataNode副本必须设成 1设默认的 3 会一直报块未复制。dfs.namenode.name.dir和dfs.datanode.data.dir分别指定元数据和数据块的存储位置指向第 2 章建的目录和hadoop.tmp.dir区分开。3.3 格式化 NameNode 并启动 HDFS 和 YARN配置改完先格式化 NameNode这是 Hadoop 初始化元数据目录的动作只允许在首次启动前执行一次hdfs namenode -format命令执行完会看到Storage directory /data/hadoop/namenode has been successfully formatted的字样。这里要特别记住格式化会生成一个 clusterIDDataNode 启动后要靠这个 ID 找到对应的 NameNode。如果哪天重复执行格式化旧的 DataNode 就会因为 ID 对不上而注册失败这就是第 5 章要展开的第一个大坑。格式化完成后启动服务start-dfs.sh start-yarn.sh jpsstart-dfs.sh启动 HDFS 相关进程包括 NameNode 和 DataNodestart-yarn.sh启动 YARN 资源调度包括 ResourceManager 和 NodeManager。jps是 JDK 自带的小工具专门查看 Java 进程这时应该能看到至少四个进程NameNode、DataNode、ResourceManager、NodeManager。如果你的机器内存小于 4G建议只跑 HDFS 不跑 YARN也就是只执行start-dfs.sh否则 ResourceManager 和 NodeManager 默认会按物理内存的 80% 去申请资源小内存机器直接卡死。4. 从伪分布式跨到完全分布式三节点集群的部署路径单机验证通过后如果要上真实任务就要把架构扩展成多节点。Hadoop 3.2.4 的完全分布式没有图形化安装器核心思路是所有节点装同样的安装包但配置不同靠workers文件决定谁当 DataNode。4.1 节点角色规划和主机名解析以三节点为例规划如下节点角色运行的服务node1MasterNameNode、ResourceManagernode2WorkerDataNode、NodeManagernode3WorkerDataNode、NodeManager生产环境通常还会把 SecondaryNameNode 或备用的 NameNode 放到独立节点测试环境没必要。先在所有节点的/etc/hosts里写死主机名解析这一步不做后面 DataNode 注册会反复失败192.168.x.x node1 192.168.x.x node2 192.168.x.x node3然后确认每台机器的主机名和 hosts 一致用hostname命令查看。Hadoop 内部通信靠主机名不靠 IP主机名解析错位是集群部署里最常见的隐形炸弹。4.2 伪分布式配置改成集群配置在 node1 上把第 3 章的配置改掉。core-site.xml里把localhost换成 node1property namefs.defaultFS/name valuehdfs://node1:9000/value /propertyhdfs-site.xml里把副本数改成 2property namedfs.replication/name value2/value /property三节点集群副本数设 2 是合理的既能容忍单点故障又不至于让两个 DataNode 各自存两份浪费空间。此时不能在 node1 上执行start-dfs.sh完事还得先编辑workers文件。注意 3.x 版本里这个文件叫workers不再叫 2.x 时代的slaves很多老教程会误导人# 文件路径$HADOOP_CONF_DIR/workers node1 node2 node3workers文件列出所有要运行 DataNode 的节点node1 写进去是因为它作为 Master 也承担 DataNode 角色。ResourceManager 跑在哪个节点由yarn-site.xml决定默认在当前执行启动脚本的节点上也就是 node1。4.3 分发安装目录并启动集群最省事的做法是在每个节点上都解压一份相同的安装包然后只把 node1 上改好的配置目录分发过去注意用户属主必须都是 hadoopscp -r $HADOOP_CONF_DIR hadoopnode2:/opt/hadoop/current/etc/hadoop/ scp -r $HADOOP_CONF_DIR hadoopnode3:/opt/hadoop/current/etc/hadoop/分发之后要在 node2 和 node3 上确认core-site.xml里的fs.defaultFS指向的是 node1而不是 localhost。配置同步完在 node1 上第一次启动hdfs namenode -format start-dfs.sh start-yarn.sh这里有个和伪分布式不一样的地方完全分布式只需要在 node1 上执行一次格式化start-dfs.sh会通过 SSH 免密去连 node2 和 node3 自动拉起 DataNode不需要也不应该跑到每台机器上分别执行启动脚本。启动完后在 node1 上执行jps能看到五个进程到 node2、node3 上执行jps能看到 DataNode 和 NodeManager这个分布就对了。4.4 yarn-site.xml 的内存参数完全分布式下 YARN 的内存参数一定要显式配置不能靠默认值。打开yarn-site.xml加这两项property nameyarn.nodemanager.resource.memory-mb/name value8192/value /property property nameyarn.scheduler.maximum-allocation-mb/name value4096/value /propertyyarn.nodemanager.resource.memory-mb是每个 NodeManager 能支配的物理内存总量我按节点总内存减掉系统预留后的大约 80% 来设。yarn.scheduler.maximum-allocation-mb限制单个任务容器最大能申请多少内存设得比前者小防止单个任务把节点内存吃爆。这两个值不配YARN 默认按物理内存比例算小内存机器经常出现容器反复被杀。5. 安装部署避坑5 个高发问题与排查路径这一章全是实际部署中反复出现的状况按现象 → 原因 → 解决描述每一条都是可以直接对着日志排查的。5.1 启动脚本报错找不到 JAVA_HOME现象执行hdfs namenode -format或start-dfs.sh时终端提示JAVA_HOME is not set但明明在/etc/profile里已经 export 过。原因Hadoop 的启动脚本由 sbin 目录下的 shell 脚本调用这些脚本通过hadoop-env.sh加载 Java 路径而它在非交互 Shell 里可能读不到你写在/etc/profile或~/.bashrc里的全局变量。这不是 Hadoop 没配好是 Shell 环境加载机制的问题。解决编辑$HADOOP_CONF_DIR/hadoop-env.sh找到JAVA_HOME那行把注释去掉并改成绝对路径export JAVA_HOME/opt/jdk8注意不要写成export JAVA_HOME$(readlink -f /usr/bin/java)这种动态取值启动阶段解析失败反而更难排查。改完再执行hadoop version验证。5.2 格式化后 DataNode 报 Incompatible clusterIDs现象start-dfs.sh后 NameNode 正常但 DataNode 日志里一直报Incompatible clusterIDsDataNode 进程反复启动又退出。原因这个坑几乎都是重复执行格式化造成的或者修改了fs.defaultFS之后再格式化。NameNode 格式化时生成了新的 clusterID而 DataNode 的current/VERSION文件里还留着旧的 clusterID两边对不上注册就被拒。解决看 DataNode 的 VERSION 文件路径/data/hadoop/datanode/current/VERSION同样看 NameNode 的/data/hadoop/namenode/current/VERSION。不保留数据就直接清理stop-dfs.sh rm -rf /data/hadoop/namenode/* /data/hadoop/datanode/* /data/hadoop/tmp/* hdfs namenode -format start-dfs.sh想保留数据就把两个 VERSION 文件里的clusterID字段改成一致再重启 DataNode这个方法适合元数据没损坏、只是 ID 漂移的情况。5.3 jps 能看到进程但 Web UI 打不开现象jps里 NameNode 和 DataNode 都在但浏览器访问http://node1:9870超时或拒绝连接。注意 3.2.4 的 NameNode Web 端口是 9870不是老教程里的 50070。原因两种可能性一是防火墙没放行端口二是该节点上的 NameNode 绑定了 127.0.0.1。伪分布式改core-site.xml时如果fs.defaultFS只写了hdfs://localhost:9000部分机器上 NameNode 会只监听回环地址。解决先看监听地址netstat -tlnp | grep 9870 ss -tlnp | grep 9870看到监听地址是 127.0.0.1 而不是 0.0.0.0就把core-site.xml里的地址改成内网 IP 或主机名hdfs-site.xml里同时把dfs.namenode.http-address显式配成node1:9870然后重启 HDFS。如果是防火墙确认放行 9870、8088、9000 三个端口其中 8088 是 YARN 的 Web UI 端口。5.4 小内存机器频繁丢 DataNode日志里全是 Connection refused现象NodeManager 或 DataNode 运行一会儿就消失日志里有大量Connection refused或SocketTimeoutException但用free -h看内存还够。原因文件描述符上限太低。Linux 默认ulimit -n是 1024Hadoop 集群运行时每个节点的线程和连接数很容易超过这个值达到上限后新连接直接拒绝。解决在/etc/security/limits.conf里加hadoop soft nofile 65535 hadoop hard nofile 65535保存后重新登录 hadoop 用户用ulimit -n确认输出是 65535再重启集群。这个配置是装完就要做的不是等出问题再补。5.5 解压安装包后 hadoop 命令直接报 No such file现象执行hadoop version提示No such file or directory但ls看安装目录里确实有bin/hadoop。原因安装包解压不完整或者下载的 tar.gz 本身是损坏的。另一种情况是网上流传的二次打包安装包解压出来的实际路径不是标准的hadoop-3.2.4/开头脚本用相对路径找不到可执行文件。解决用tar -tzf hadoop-3.2.4.tar.gz先看包内顶层路径正常的应该是统一的hadoop-3.2.4/前缀。再看bin/hadoop文件是否有可执行权限没有就用chmod x bin/hadoop。这两个都没问题但还报错检查HADOOP_HOME环境变量是否指向了软链软链是否失效。6. 装完怎么验收三个不靠猜的验证动作集群启动成功不等于安装完成我每次装完 3.2.4 都会固定跑三个验证动作任何一个不过都说明配置里还有隐患不能直接交付。第一个动作是检查 Web UI 的进程和存储状态。浏览器打开http://node1:9870Datanodes 列表里应该能看到两个存活节点而且Configured Capacity不是 0。这个页面不加载说明 HDFS 通信链路有问题别急着往下走。第二个动作是用 Hadoop 自带的示例包跑一个 YARN 作业。安装包里自带hadoop-mapreduce-examples.jar路径在share/hadoop/mapreduce下hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples.jar pi 5 100这个命令用蒙特卡洛方法算圆周率5是 map 任务数100是每个 map 的采样次数。它能完整验证 HDFS 读写、YARN 资源调度、容器启动、日志聚合整条链路比任何jps都有说服力。跑完会在终端输出估算出的 pi 值。第三个动作是实际的 HDFS 文件读写。先建目录再上传文件然后读出来对比hdfs dfs -mkdir -p /tmp/test echo hadoop install check /tmp/check.txt hdfs dfs -put /tmp/check.txt /tmp/test/ hdfs dfs -cat /tmp/test/check.txt能正常 cat 出内容说明数据块写入和副本放置都没问题。到这里我才会认为这套 hadoop-3.2.4安装包真正部署完成。之后再做 HA、监控、参数调优才有意义否则基础不稳上层全是空中楼阁。我自己交接过一次只跑完jps就宣布成功的集群结果第一个正式任务就卡在 DataNode 心跳上排查半天还是 clusterID 的问题。那之后我就养成了习惯新装的集群必须跑完这三个验证再交到业务手里这能省掉后面几倍的沟通成本。希望帮到你。本文还有配套的精品资源点击获取