CentOS7常见软件安装和SSH免密通信
CentOS 7 基础环境配置常用工具安装与 SSH 免密登录在完成阿里云镜像源替换后yum 安装速度大幅提升。接下来我们为集群节点安装一组必备工具并配置 SSH 免密登录为后续分布式协作打下基础本文以三节点 hadoop01/02/03 为例。一、常用组件安装配置好国内镜像源后可以直接使用yum快速安装以下高频工具。工具功能说明安装命令vim增强版文本编辑器支持语法高亮替代默认 viyum -y install vimlrzsz基于 Zmodem 协议在终端中上传/下载小文件yum -y install lrzsztree以树状图递归展示目录结构比ls -R更直观yum -y install treenet-tools网络工具包包含ifconfig、netstat等经典命令yum -y install net-toolsmariadbMySQL 的开源分支CentOS 7 默认关系型数据库常作为 Hive 元数据库yum -y install mariadb关于 MariaDB自 CentOS 7 起系统默认用 MariaDB 替代传统 MySQL。它与 MySQL 高度兼容但不受 Oracle 闭源风险影响在 Hadoop 生态中常用于存储 Hive 元数据。二、SSH 免密登录配置1. 为什么需要免密登录Hadoop、Spark 等分布式框架的主节点需要频繁通过 SSH 连接从节点启动或停止服务。如果每次都要手动输入密码脚本自动化将无法进行。但完全无密码的远程访问也存在安全隐患。解决方案使用非对称加密实现免密登录 —— 只在需要主动发起 SSH 的一方配置私钥被连接方存放对应公钥兼顾便捷与安全。2. 公钥认证原理简述客户端生成一对密钥公钥(id_rsa.pub) 和私钥(id_rsa)。将公钥复制到服务端的~/.ssh/authorized_keys文件中。客户端发起 SSH 连接时自动用私钥与服务器上的公钥进行匹配验证匹配成功则无需密码即可登录。本次规划在 hadoop01主节点上生成密钥并将公钥分别分发至 hadoop01 自身、hadoop02、hadoop03实现从 hadoop01 免密访问三台机器。3. 操作步骤① 生成密钥对在 hadoop01 执行ssh-keygen连续按两次回车使用默认路径和空密码生产环境建议设置复杂密码。生成成功后~/.ssh/目录下会多出两个文件id_rsa私钥妥善保管id_rsa.pub公钥需要分发出去的② 分发公钥到目标机器向 hadoop02 分发ssh-copy-id hadoop02按提示输入 hadoop02 的 root 密码若最后一行显示Number of key(s) added: 1即代表成功。向 hadoop03 分发ssh-copy-id hadoop03向 hadoop01 自身分发重要主节点也需要能免密连接自己否则某些集群脚本启动时会报权限错误。ssh-copy-id hadoop01三台机器间的互相访问通常需要实现“双向免密”但根据最小权限原则我们可以只让 hadoop01 单向免密登录其他节点包括自身。如果你的场景需要其他节点也能免密连接到别的主机可以按相同方式在对应节点上生成密钥并分发。③ 验证免密效果在 hadoop01 上执行sshhadoop02若直接切换到 hadoop02 的命令行前缀变为[roothadoop02 ~]#则说明免密登录生效。此时运行ip a可以看到 IP 已变为 hadoop02 的地址。退出 hadoop02 回到 hadoop01exit用同样方式验证 hadoop03 和 hadoop01 自身sshhadoop03# 测试后退出sshhadoop01# 测试后退出至此SSH 免密配置完成。三、小结通过 yum 安装常用工具可以大幅提升 Linux 环境下的操作与排错效率。SSH 免密登录是分布式集群互信的基础理解公钥/私钥机制有助于灵活控制多节点访问关系。建议只在确实需要主动发起连接的主机上配置私钥避免公私钥泛滥带来安全风险。后续便可以开始部署 Hadoop、Spark 等分布式组件享受免密切换节点的便捷。

相关新闻

Linux驱动开发面试核心要点与实战解析

Linux驱动开发面试核心要点与实战解析

1. Linux驱动开发面试核心要点解析 作为在Linux驱动开发领域摸爬滚打多年的老手,我深知面试官最关注哪些技术细节。不同于普通开发岗位,驱动工程师需要同时掌握底层硬件交互和内核机制,这对知识体系的完整性提出了更高要求。下面就从实际工程…

2026/8/6 11:07:46 阅读更多 →
技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

前言 在技术开发与知识分享的日常中,我们往往将大量精力投入在代码实现与模型调优上,却容易忽视技术文档、论文摘要或项目汇报的文字表达。清晰的逻辑需要精准的语言来承载。如今,AI 工具已从单一的代码辅助延伸至全链路生产力提升。从模型部…

2026/8/5 3:28:06 阅读更多 →
机器学习生产化实战:从模型部署到MLOps全链路加固

机器学习生产化实战:从模型部署到MLOps全链路加固

1. 项目概述:当模型走出Jupyter,真正开始呼吸真实世界空气“From Notebook to Production: Running ML in the Real World (Part 4)”——这个标题本身就像一句暗号,专为那些在Jupyter里调通了模型、画出了漂亮ROC曲线、却在部署时被现实迎面…

2026/8/5 8:48:03 阅读更多 →

最新新闻

互联网大厂2026最新高并发系统设计实录全网首次公开!

互联网大厂2026最新高并发系统设计实录全网首次公开!

如何获得高并发经验?这是我今天系统邀请我回答的一个问题,由此也引发了我的一些思考:为什么人人都想要获得高并发经验;想拥有高并发系统设计技能?其原因LZ认为主要有以下三点:涨薪:有高并发系统…

2026/8/6 11:07:21 阅读更多 →
终极.NET Core游戏Mod加载器:5步快速掌握Reloaded-II完整配置

终极.NET Core游戏Mod加载器:5步快速掌握Reloaded-II完整配置

终极.NET Core游戏Mod加载器:5步快速掌握Reloaded-II完整配置 【免费下载链接】Reloaded-II Universal .NET Core Powered Modding Framework for any Native Game X86, X64. 项目地址: https://gitcode.com/gh_mirrors/re/Reloaded-II 还在为游戏Mod安装的繁…

2026/8/6 11:07:21 阅读更多 →
Vite本地开发HTTPS配置指南:从自签名证书到团队协作

Vite本地开发HTTPS配置指南:从自签名证书到团队协作

1. 为什么本地开发也需要HTTPS? 最近在重构一个前端项目,用上了Vite,开发体验确实丝滑。但在对接一个第三方登录服务时,对方要求回调地址必须是HTTPS协议。这让我不得不停下来,把本地开发环境的HTTP升级成HTTPS。你可能…

2026/8/6 11:07:21 阅读更多 →
IntelliJ IDEA 2025.3.3安装与优化全指南

IntelliJ IDEA 2025.3.3安装与优化全指南

1. IntelliJ IDEA 2025.3.3安装前的系统准备作为一名使用IntelliJ IDEA超过8年的老用户,我经历过从2017版到2025版的多次升级安装。2025.3.3版本作为JetBrains家族的最新旗舰IDE,在安装前需要特别注意几个关键点:首先检查操作系统兼容性。202…

2026/8/6 11:07:21 阅读更多 →
使用Docker Compose部署MaxKB4j知识库问答系统

使用Docker Compose部署MaxKB4j知识库问答系统

1. MaxKB4j 项目概述与核心价值MaxKB4j 是一款基于知识库构建的开源问答系统,能够帮助企业快速搭建智能客服、内部知识库等应用场景。它采用前后端分离架构,后端基于 Java 开发,前端使用 Vue.js 框架,通过 RESTful API 进行数据交…

2026/8/6 11:07:20 阅读更多 →
免费翻译API聚合方案:破解Google与DeepL接口实战

免费翻译API聚合方案:破解Google与DeepL接口实战

1. 项目背景与需求分析在全球化协作和跨语言交流日益频繁的今天,翻译工具已成为工作学习中的必备利器。作为开发者,我们经常需要在自己的应用中集成翻译功能,但直接调用官方API往往面临两大痛点:一是商用API价格不菲(如…

2026/8/6 11:06:20 阅读更多 →

日新闻

深入解析LimboAI C++内核:架构设计与性能优化实战

深入解析LimboAI C++内核:架构设计与性能优化实战

1. 项目概述:为什么我们需要深入LimboAI的C内核?如果你是一名使用Godot引擎的游戏开发者,尤其是对AI行为逻辑有较高要求的项目,那么LimboAI这个名字你大概率不会陌生。它作为Godot 4生态中一个备受瞩目的行为树与状态机插件&#…

2026/8/6 0:00:06 阅读更多 →
Unity 2D游戏敌人AI系统:基于PlayMaker状态机与2D Toolkit的实战开发

Unity 2D游戏敌人AI系统:基于PlayMaker状态机与2D Toolkit的实战开发

1. 项目概述与核心思路大家好,我是老张,一个在游戏开发一线摸爬滚打了十多年的老码农。今天咱们接着聊《空洞骑士》风格2D动作游戏的Demo制作。上一期我们搭好了基础框架,处理了角色移动和碰撞,这一期,我们要让游戏世界…

2026/8/6 0:00:06 阅读更多 →
被动防火门市场前景发展趋势

被动防火门市场前景发展趋势

被动防火门依靠材质结构、密闭构造阻隔烟火蔓延,无需电控启动,是建筑被动消防系统核心构件,行业依托新规管控、城市更新、工业安全升级迎来稳定扩容,整体朝着合规化、专项化、低碳化、智能化方向发展。现阶段 GB12955‑2024 新版国…

2026/8/6 0:00:06 阅读更多 →

周新闻

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

1. 从水管网络到最大流:一个核心问题的诞生想象一下,你是一个城市供水系统的总工程师。你的城市有多个水源(水库),需要通过一个复杂的地下管道网络,将水输送到各个居民区。每条管道都有其最大通水能力&…

2026/8/5 15:00:43 阅读更多 →
基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台…

2026/8/5 13:13:56 阅读更多 →
MATLAB xcorr函数详解:从互相关原理到四大实战应用

MATLAB xcorr函数详解:从互相关原理到四大实战应用

1. 从一次信号“找茬”说起:为什么我们需要互相关几年前,我在处理一组声学传感器数据时遇到了一个棘手的问题。我有两个麦克风记录了一段相同的音频信号,理论上它们接收到的声音波形应该非常相似,只是由于麦克风位置不同&#xff…

2026/8/5 10:20:36 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/5 23:28:39 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/5 21:00:14 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/5 23:46:51 阅读更多 →