CentOS7常见软件安装和SSH免密通信
CentOS 7 基础环境配置常用工具安装与 SSH 免密登录在完成阿里云镜像源替换后yum 安装速度大幅提升。接下来我们为集群节点安装一组必备工具并配置 SSH 免密登录为后续分布式协作打下基础本文以三节点 hadoop01/02/03 为例。一、常用组件安装配置好国内镜像源后可以直接使用yum快速安装以下高频工具。工具功能说明安装命令vim增强版文本编辑器支持语法高亮替代默认 viyum -y install vimlrzsz基于 Zmodem 协议在终端中上传/下载小文件yum -y install lrzsztree以树状图递归展示目录结构比ls -R更直观yum -y install treenet-tools网络工具包包含ifconfig、netstat等经典命令yum -y install net-toolsmariadbMySQL 的开源分支CentOS 7 默认关系型数据库常作为 Hive 元数据库yum -y install mariadb关于 MariaDB自 CentOS 7 起系统默认用 MariaDB 替代传统 MySQL。它与 MySQL 高度兼容但不受 Oracle 闭源风险影响在 Hadoop 生态中常用于存储 Hive 元数据。二、SSH 免密登录配置1. 为什么需要免密登录Hadoop、Spark 等分布式框架的主节点需要频繁通过 SSH 连接从节点启动或停止服务。如果每次都要手动输入密码脚本自动化将无法进行。但完全无密码的远程访问也存在安全隐患。解决方案使用非对称加密实现免密登录 —— 只在需要主动发起 SSH 的一方配置私钥被连接方存放对应公钥兼顾便捷与安全。2. 公钥认证原理简述客户端生成一对密钥公钥(id_rsa.pub) 和私钥(id_rsa)。将公钥复制到服务端的~/.ssh/authorized_keys文件中。客户端发起 SSH 连接时自动用私钥与服务器上的公钥进行匹配验证匹配成功则无需密码即可登录。本次规划在 hadoop01主节点上生成密钥并将公钥分别分发至 hadoop01 自身、hadoop02、hadoop03实现从 hadoop01 免密访问三台机器。3. 操作步骤① 生成密钥对在 hadoop01 执行ssh-keygen连续按两次回车使用默认路径和空密码生产环境建议设置复杂密码。生成成功后~/.ssh/目录下会多出两个文件id_rsa私钥妥善保管id_rsa.pub公钥需要分发出去的② 分发公钥到目标机器向 hadoop02 分发ssh-copy-id hadoop02按提示输入 hadoop02 的 root 密码若最后一行显示Number of key(s) added: 1即代表成功。向 hadoop03 分发ssh-copy-id hadoop03向 hadoop01 自身分发重要主节点也需要能免密连接自己否则某些集群脚本启动时会报权限错误。ssh-copy-id hadoop01三台机器间的互相访问通常需要实现“双向免密”但根据最小权限原则我们可以只让 hadoop01 单向免密登录其他节点包括自身。如果你的场景需要其他节点也能免密连接到别的主机可以按相同方式在对应节点上生成密钥并分发。③ 验证免密效果在 hadoop01 上执行sshhadoop02若直接切换到 hadoop02 的命令行前缀变为[roothadoop02 ~]#则说明免密登录生效。此时运行ip a可以看到 IP 已变为 hadoop02 的地址。退出 hadoop02 回到 hadoop01exit用同样方式验证 hadoop03 和 hadoop01 自身sshhadoop03# 测试后退出sshhadoop01# 测试后退出至此SSH 免密配置完成。三、小结通过 yum 安装常用工具可以大幅提升 Linux 环境下的操作与排错效率。SSH 免密登录是分布式集群互信的基础理解公钥/私钥机制有助于灵活控制多节点访问关系。建议只在确实需要主动发起连接的主机上配置私钥避免公私钥泛滥带来安全风险。后续便可以开始部署 Hadoop、Spark 等分布式组件享受免密切换节点的便捷。

相关新闻

Linux驱动开发面试核心要点与实战解析

Linux驱动开发面试核心要点与实战解析

1. Linux驱动开发面试核心要点解析 作为在Linux驱动开发领域摸爬滚打多年的老手,我深知面试官最关注哪些技术细节。不同于普通开发岗位,驱动工程师需要同时掌握底层硬件交互和内核机制,这对知识体系的完整性提出了更高要求。下面就从实际工程…

2026/10/18 10:37:36 阅读更多 →
技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

前言 在技术开发与知识分享的日常中,我们往往将大量精力投入在代码实现与模型调优上,却容易忽视技术文档、论文摘要或项目汇报的文字表达。清晰的逻辑需要精准的语言来承载。如今,AI 工具已从单一的代码辅助延伸至全链路生产力提升。从模型部…

2026/10/16 22:14:47 阅读更多 →
机器学习生产化实战:从模型部署到MLOps全链路加固

机器学习生产化实战:从模型部署到MLOps全链路加固

1. 项目概述:当模型走出Jupyter,真正开始呼吸真实世界空气“From Notebook to Production: Running ML in the Real World (Part 4)”——这个标题本身就像一句暗号,专为那些在Jupyter里调通了模型、画出了漂亮ROC曲线、却在部署时被现实迎面…

2026/10/17 4:41:30 阅读更多 →

最新新闻

OpenRT实战:多模态大模型红队安全评估从入门到落地

OpenRT实战:多模态大模型红队安全评估从入门到落地

如果你最近在盯多模态大模型的安全测评,大概已经听过OpenRT这个名字——一个开源的LLM红队框架,主打对多模态模型做系统化的健壮性评估。前阵子我正好把它用在一个客服问答系统的上线前检查里,发现很多人对它的理解还停留在“又一个提权工具”…

2026/10/18 10:48:51 阅读更多 →
Oracle 12c Windows补丁升级避坑指南:OPatch版本、JDK兼容与路径陷阱

Oracle 12c Windows补丁升级避坑指南:OPatch版本、JDK兼容与路径陷阱

简介:本资源是专为Windows平台Oracle 12c数据库环境定制的OPatch补丁管理工具集,面向DBA、运维工程师及数据库开发人员,用于安全、高效地应用Oracle官方补丁(如PSU、BP、One-Off等),解决补丁部署失败、OPat…

2026/10/18 10:48:51 阅读更多 →
ODAC122010Xcopy-x64.zip:.NET Framework 4.x 免注册 Oracle 数据访问方案

ODAC122010Xcopy-x64.zip:.NET Framework 4.x 免注册 Oracle 数据访问方案

简介:本资源是Oracle官方ODAC(Oracle Data Access Components)12.2.0.1.0版本的64位完整离线安装包,专为Windows平台下.NET开发者设计,适用于ASP.NET Web应用、桌面程序及企业级事务系统开发,解决.NET项目连…

2026/10/18 10:48:51 阅读更多 →
OPC UA Python客户端实战:Linux边缘设备稳定连接PLC指南

OPC UA Python客户端实战:Linux边缘设备稳定连接PLC指南

简介:本资源为一套经过实际测试验证的OPC UA客户端完整实现工程,面向工业自动化领域开发者、物联网系统集成工程师及学习工业通信协议的中高级技术人员,解决OPC UA客户端开发入门难、安全连接配置复杂、服务调用逻辑不清晰等实践痛点。压缩包…

2026/10/18 10:48:51 阅读更多 →
Java Swing黄金矿工实战:抛物线动画与双缓冲渲染

Java Swing黄金矿工实战:抛物线动画与双缓冲渲染

简介:本资源是基于Java语言实现的经典休闲游戏《黄金矿工》的完整可运行项目,面向Java初学者与GUI编程进阶学习者,帮助掌握面向对象设计、Swing图形界面开发、事件驱动机制及基础游戏逻辑实现等核心能力。压缩包共30个文件,包含6个…

2026/10/18 10:48:51 阅读更多 →
PFA算法:基于正交投影一致性的多模态特征空间隐式对齐

PFA算法:基于正交投影一致性的多模态特征空间隐式对齐

简介:本资源为数据挖掘领域Pattern Fusion(PFA)算法的完整实践套件,面向算法研究者、R/ MATLAB开发者及高年级本科生或研究生,聚焦于大规模频繁模式的精炼提取与融合优化问题。资源共23个文件,涵盖9个txt&a…

2026/10/18 10:47:51 阅读更多 →

日新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/18 0:00:55 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/18 0:00:55 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 0:55:02 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/17 17:22:31 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 14:23:36 阅读更多 →