Flintrock核心命令速查手册launch、login、describe等10大命令一文掌握【免费下载链接】flintrockA command-line tool for launching Apache Spark clusters.项目地址: https://gitcode.com/gh_mirrors/fl/flintrock想快速搭建一套 Apache Spark 集群却不想被繁琐的手工配置折磨Flintrock正是为此而生的命令行工具——它专注于一件事用最简单的方式启动和管理云上的 Spark 集群。这篇Flintrock 核心命令速查手册将带你一次性掌握 launch、login、describe 等 10 大高频命令从集群创建、日常登录、弹性扩容到一键销毁覆盖你 90% 的实际使用场景。为什么你需要这份 Flintrock 命令速查表Flintrock 是一款用 Python 编写的开源命令行工具核心代码位于flintrock/flintrock.py它的设计哲学就是少即是多不追求管理永久基础设施而是把快速起一个 Spark 集群跑任务这件事做到极致。相比 spark-ec2 等老工具Flintrock 的 CLI 更清晰、参数更精简还支持把常用参数固化到配置文件参考flintrock/config.yaml.template减少重复输入。在开始之前先确认你的环境已安装 Python 3.8可用pip install flintrock或pipx install flintrock安装已配置好 AWS 凭证Flintrock 目前主要支持 EC2 提供商命令一flintrock launch——一键启动 Spark 集群launch是 Flintrock 的招牌命令也是你接触最多的命令。它负责在云上拉起一台 Master 节点和若干 Slave 节点并自动安装配置好 Spark可选 HDFS。flintrock launch test-cluster \ --num-slaves 2 \ --spark-version 3.5.0 \ --ec2-key-name my-key \ --ec2-identity-file /path/to/key.pem \ --ec2-ami ami-0588935a949f9ff17 \ --ec2-user ec2-user最省心的用法先运行flintrock configure打开配置文件把 key、AMI、实例类型等常用参数写进去之后每次启动只需一行flintrock launch test-cluster启动时常用参数一览参数作用--num-slavesSlave 节点数量必填--spark-versionSpark 版本号--install-hdfs是否同时安装 HDFS--ec2-instance-type实例规格默认 m5.medium--ec2-spot-price竞价实例出价省钱利器命令二flintrock describe——查看集群状态详情集群启动后如何确认它活得怎么样用describe即可。它会以YAML 格式输出集群的完整信息包括 Master/Slave 的 IP 地址、实例类型、安全组等既适合人看也方便脚本解析。flintrock describe test-cluster如果只想快速拿到 Master 节点的地址比如写自动化脚本时加上--master-hostname-only参数flintrock describe test-cluster --master-hostname-only不指定集群名时describe会列出区域内所有由 Flintrock 管理的集群方便统一盘点资源。命令三flintrock login——SSH 登录 Master 节点集群就绪后最自然的下一步就是登录进去跑spark-shell或pyspark。login命令会帮你自动 SSH 到 Master 节点省去手动查找 IP、拼写 ssh 命令的麻烦flintrock login test-cluster \ --ec2-identity-file /path/to/key.pem \ --ec2-user ec2-user进入节点后直接执行spark-shell即可开始交互式开发。如果这些参数已经写进配置文件flintrock login test-cluster一条命令就搞定了。命令四flintrock run-command——批量执行远程命令想让整个集群统一执行某个命令比如所有节点安装同一个软件包run-command会并行在集群的每个节点上执行指定命令并汇总执行结果任何一个节点报错都会返回非零退出码flintrock run-command test-cluster sudo yum install -y htop只想在 Master 上执行时加上--master-only标志即可。这对于批量环境初始化、状态检查等场景非常实用是运维自动化的好帮手。命令五flintrock copy-file——分发文件到所有节点配合run-command使用的还有copy-file。它把本地文件复制到集群的每一个节点的指定路径比如分发配置文件、JAR 包等flintrock copy-file test-cluster /local/path/spark-defaults.conf /tmp/小提示当文件较大、节点较多时Flintrock 会估算总传输量并弹出确认提示可用--assume-yes跳过如果文件真的很大官方建议先上传到 S3再用run-command让各节点自行下载效率更高。命令六flintrock add-slaves——弹性扩容 Worker 节点业务量上来了集群算力不够怎么办add-slaves支持向现有集群动态增加 Slave 节点且新节点会自动参照 Master 的配置完成初始化无需手动设置flintrock add-slaves test-cluster --num-slaves 3扩容参数如竞价价格、根盘大小与launch保持一致扩容出的节点会无缝加入集群参与计算。命令七flintrock remove-slaves——按需缩容释放资源任务高峰过后及时缩容才能控制成本。remove-slaves可以按数量移除 Slave 节点flintrock remove-slaves test-cluster --num-slaves 2命令会先展示集群当前状态并请求确认避免误操作。如果你请求移除的数量超过现有节点数Flintrock 会贴心地给出警告并自动调整。命令八flintrock stop / 命令九flintrock start——暂停与唤醒集群临时不用集群但又不想销毁重来stop会把集群的 EC2 实例停止保留磁盘数据大幅节省费用flintrock stop test-cluster需要继续使用时用start一键唤醒节点会自动恢复服务Spark 环境原样保留flintrock start test-cluster这对白天跑任务、晚上停机的周期性场景特别友好是成本优化的重要一环。命令十flintrock destroy——彻底销毁集群任务全部结束别忘记销毁集群避免持续扣费。destroy会连同所有节点资源一并清理flintrock destroy test-cluster执行前会展示集群信息并二次确认同样可用--assume-yes跳过交互提示适合自动化流水线。附赠技巧flintrock configure——让每条命令都更简短其实还有一个隐藏的第 11 个命令值得掌握configure。它会初始化并打开 Flintrock 的 YAML 配置文件模板见flintrock/config.yaml.template让你一次性写好所有默认参数——包括 provider、key、region、AMI、实例类型、Spark 版本等。配置完成后前面所有命令都能省略重复参数例如flintrock configure # 首次运行会自动生成配置文件并打开编辑器 flintrock launch test-cluster # 无需再带任何 --ec2-* 参数总结Flintrock 命令学习路线图最后为你梳理一条最平滑的上手路径configure写好默认配置 → 2.launch启动集群 → 3.describe验证状态 → 4.login登录使用 → 5.run-command/copy-file日常运维 → 6.add-slaves/remove-slaves弹性伸缩 → 7.stop/start休眠省钱 → 8.destroy用完即焚遇到任何命令记不清参数时随时用flintrock --help或flintrock 子命令 --help查看内置帮助。这份Flintrock 核心命令速查手册建议收藏从此告别手工搭建 Spark 集群的噩梦把时间留给真正有价值的数据分析工作【免费下载链接】flintrockA command-line tool for launching Apache Spark clusters.项目地址: https://gitcode.com/gh_mirrors/fl/flintrock创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考