spark-submit命令总览
pyspark可以使用pyspark 命令在服务器黑窗口中进行spark代码的编写pyspark --master local[2] 本地模式 pyspark --master spark://bigdata01:7077 standalone模式 pyspark --master yarn yarn模式 // 启动一个黑窗口 进行任务的编写spark-submit#提交任务的命令 spark-submit [options] app jar | pythonfile | R file [app arguments] spark-submit _04、wordcount_Vmware.py input output #杀死一个正在运行的任务 spark-submit --kill [submission ID] --master [spark://...] #查看某个任务的状态 spark-submit --status [submission ID] --master [spark://...]参数解释 各个参数的含义 其实就是在将 提交命令的 [options] 可以写什么。 --master用于指定程序运行的模式5种模式本地模式、 Standalone、yarn、Mesos、K8s 本地模式--master local[2] Standalone模式--master spark://master:7077 YARN模式--master yarn # 作用等同于代码中setMaster --deploy-mode用于指定Driver进程运行位置 client/cluster --name用于指定程序的名称 # 作用等同于代码中setAppName --jars用于指定一些额外的jar包 # 例如读写MySQL时候需要用到MySQL的驱动包 --conf用于指定当前程序运行的额外的一些配置 # 作用等同于代码中set # driver资源选项主要用于构建一个非RDD的操作 --driver-memory指定Driver进程能够使用的内存大小默认是1G --driver-cores指定Driver进程能够使用的CPU核数默认是1Core --supervise指定如果Driver故障就自动重启 # executor可以使用的参数 --executor-cores 4 指定每个Executor能够使用多少CPU --executor-memory 16 指定每个Executor能够使用多少内存 --total-executor-coresStandalone集群模式指定所有Executor总共使用的CPU核数用于间接指定Executor的个数 --num-executorsYARN集群模式直接指定Executor的个数 --queue指定提交程序到哪个队列中运行 # num-executors 和 total-executor-cores 不能同时使用 以上这些参数还可以直接写在代码中可以配置在conf文件 优先级代码中【set】 参数【--conf】 配置文件【公共配置spark-defualt.conf】代码实现standalone模式 # 最简单的 spark-submit \ --master spark://bigdata01:7077 \ _04、wordcount_Vmware.py \ hdfs://bigdata01:9820/spark/wordcount/input \ hdfs://bigdata01:9820/spark/wordcount/output5 # 指定资源的写法 spark-submit \ --master spark://bigdata01:7077 \ --driver-memory 512M \ --driver-cores 1 \ --supervise \ --executor-memory 1G \ --executor-cores 1 \ --total-executor-cores 2 \ _04、wordcount_Vmware.py \ hdfs://bigdata01:9820/spark/wordcount/input \ hdfs://bigdata01:9820/spark/wordcount/output6yarn模式 spark-submit \ --master yarn \ --deploy-mode client \ --queue default \ --driver-memory 2G \ --executor-memory 16G \ --executor-cores 4 \ --num-executors 40 \ --conf spark.sql.shuffle.partitions1000 \ --conf spark.default.parallelism1000 \ --conf spark.storage.memoryFraction0.4 \ --conf spark.shuffle.memoryFraction0.3 \ --principal gaoqiJIERU.CUCCJS.COM \ --keytab /home/gaoqi/gaoqi.keytab \ --jars /data06/gaoqi/javaApp/spark-doris-connector-2.3_2.11-1.0.1.jar \ /data06/gaoqi/spark_read_hive_stream_load_to_doris.pyspark模式和yarn模式最主要的区别spark 和yarn的区别 --master spark://bigdata01:7077 --total-executor-cores 2 \ --master yarn --num-executors 2 \

相关新闻

深入理解protoc-gen-star的AST结构:Protobuf代码生成的核心引擎

深入理解protoc-gen-star的AST结构:Protobuf代码生成的核心引擎

深入理解protoc-gen-star的AST结构:Protobuf代码生成的核心引擎 【免费下载链接】protoc-gen-star protoc plugin library for efficient proto-based code generation 项目地址: https://gitcode.com/gh_mirrors/pr/protoc-gen-star protoc-gen-star&#x…

2026/11/16 2:20:44 阅读更多 →
Docker环境下使用go-mod-outdated:无需安装即可检查依赖更新

Docker环境下使用go-mod-outdated:无需安装即可检查依赖更新

Docker环境下使用go-mod-outdated:无需安装即可检查依赖更新 【免费下载链接】go-mod-outdated Find outdated dependencies of your Go projects. go-mod-outdated provides a table view of the go list -u -m -json all command which lists all dependencies of…

2026/11/16 2:20:45 阅读更多 →
如何快速搭建国标视频监控平台:企业级视频管理完整指南

如何快速搭建国标视频监控平台:企业级视频管理完整指南

如何快速搭建国标视频监控平台:企业级视频管理完整指南 【免费下载链接】wvp-GB28181-pro 基于GB28181-2016、部标808、部标1078标准实现的开箱即用的网络视频平台。自带管理页面,支持NAT穿透,支持海康、大华、宇视等品牌的IPC、NVR接入。支持…

2026/11/16 2:20:45 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/17 8:22:52 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/17 12:46:04 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/17 12:46:04 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/17 11:26:33 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/17 12:46:05 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/17 12:46:05 阅读更多 →

日新闻

周新闻

月新闻