轻量运维工具fastdp v6版本-CSDN博客目前该工具已更新版本v6新增三个模块如果无需新功能的话仍可继续使用本文内容轻量运维工具fastdp基于 Go 语言实现核心优势只有一个快在相同环境下批量命令执行速度比 Ansible 快 18 倍且用法更简单。今天就来分享这个工具的设计思路和使用方法。而fastdp的设计目标是抛弃冗余功能专注 “批量执行命令 / 文件操作” 的核心场景用 Go 的协程优势实现极致性能。性能对比18 倍提速是怎么来的直接上测试数据在 4 台同网段 Linux 主机网络延迟 1ms上执行date命令对比结果如下工具实际耗时real差异点fastdp0m0.135s基于 Go 协程并发无进程开销Ansible0m2.523sPython 多进程模型启动成本高为什么fastdp这么快协程级并发用 Go 原生 Goroutine 管理 SSH 连接避免 Ansible 的 “多进程 fork 开销”100 台主机并发连接只需 1 个进程内存占用不到 10MB。无冗余设计摒弃 Ansible 的 “兼容全场景” 逻辑比如复杂的模块参数校验、多版本 Python 适配无需复杂依赖专注 “批量执行命令 / 文件操作”代码量仅 2000 行。轻量配置命令行直接传参主机组配置用简单的[组名]格式与ansible风格类似上手成本极低。二进制文件大小只有10MB左右fastdp 快速开始1. 下载发行包使用wget或curl下载 对应架构的发行包当前已更新至v5版本# 使用 wget # amd64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-amd64.tar.gz # arm64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-arm64.tar.gz2. 解压文件解压下载的压缩包获取二进制文件和配置模板# 解压到当前目录,以amd64版本为例 tar -zxvf fastdp-v5-linux-amd64.tar.gz # 解压后会生成 fastdp 目录包含二进制文件和配置示例 cd fastdp3. 安装方式# 复制二进制文件到 /usr/local/bin无需额外配置 PATH cp fastdp /usr/local/bin/ # 复制配置文件模板到系统配置目录 mkdir -p /etc/fastdp cp config.toml host /etc/fastdp/ # 编辑/etc/fastdp/host文件添加主机信息 vim /etc/fastdp/hostfastdp能做什么3 个核心场景1. 批量执行命令一行命令搞定最常用的场景给web组主机执行uptime命令# 格式fastdp [命令参数] 主机组/IP fastdp shell -a uptime web # 灵活使用支持多个主机组或ip fastdp shell -a lsblk master node 192.168.10.1002. 批量跨机文件复制复制本地config.ini到db组主机的/etc/app/目录支持大文件批量拷贝比shell脚本效率提升n倍只需指定源路径和目标路径fastdp copy -s ./config.ini -d /etc/app/config.ini dbfastdp会自动做两件事对比本地与远程文件的 MD5避免重复传输同步源文件的权限如rw-r--r--到远程无需额外配置。3. 主机连通性检测批量 SSH 存活检查快速检测all组主机的 SSH 端口是否可达比ping更实用fastdp ping all4.进阶用法获取各主机的环境变量后汇总输出配置集群hosts文件时更为快捷# 注意使用变量时外层要为单引号否则会使用当前机器变量 # 内层如果要使用单引号可以使用\这种方式避免冲突 fastdp shell -a echo $(hostname -I|awk \{print $1}\) $(hostname) all|grep -v output:|grep linux 192.168.1.101 linux101 192.168.1.111 linux111 192.168.1.121 linux121 192.168.1.131 linux131 192.168.1.141 linux141主机组配置示例支持免密访问和密码访问两种方式可以指定用户端口信息# FastDP 主机清单配置文件示例 # 格式说明[主机组名] 定义主机组下方为主机列表 # [all] 是默认主机组包含所有主机 # 主机配置格式IP/域名 [参数值 参数值 ...] # 支持参数 # user - 登录用户名默认root # port - SSH端口默认22 # password - 登录密码如不指定需提前设置SSH免密登录 # 可以定义多个主机组按业务或环境分组 # 注意如果主机在不同组中重复出现只会执行一次 # [cpu] # 192.168.1.106 userroot port22 password123456 # 192.168.1.107 userroot port22 # 192.168.1.108 # 192.168.1.109 userroot # [gpu] # 192.168.1.110注意事项主机组配置主机地址支持 IP 或域名若未指定 password默认使用 SSH 密钥认证优先读取 ~/.ssh/id_rsa文件复制远程目标路径-d必须为绝对路径支持保留源文件权限自动同步源文件权限到远程文件错误排查开启调试模式-v可查看详细的 SSH 连接日志和命令执行过程若主机连接失败检查 SSH 端口、认证方式及网络连通性实践案例给master主机组n台机器磁盘快速分区、格式化、挂载# 假设master组机器/dev/sdb均为未分区磁盘 fastdp shell -a vgcreate vg01 /dev/sdb master master_command( lvcreate -L 100G -n etcd /dev/vg01 lvcreate -L 3T -n data /dev/vg01 lvcreate -L 500G -n docker-data /dev/vg01 lvcreate -L 200G -n kubelet /dev/vg01 lvcreate -L 300G -n mnt /dev/vg01 lvcreate -L 500G -n mysql-data /dev/vg01 ) for i in ${master_command[]};do echo $i ;fastdp shell -a $i master;done fastdp shell -a for i in etcd data docker-data kubelet mnt mysql-data;do mkdir -p /$i mkfs.ext4 /dev/vg01/$i echo /dev/vg01/$i /$i ext4 defaults 0 0 /etc/fstab;done master fastdp shell -a mount -a master目前fastdp已支持shell/copy/ping三个核心模块如果你有其他需求或建议欢迎在 Gitee 仓库提 issue 交流仓库地址https://gitee.com/zhao-pengfei2/fastdp最后求个 Star 你的支持是我继续优化的动力