【Spark与SQL网关(1)】Spark 提交模式与 Spark Thrift Server:到底在“提交”什么
很多 Spark 使用者对两件事一直模糊一是client / cluster到底差在哪二是 STSSpark Thrift Server算不算一种提交模式。这篇文章只讲一件事一次提交Driver 是怎么被启动的STS 又在这个模型里扮演什么角色。一、Spark 提交模式本质上只回答一个问题Spark 里真正干活的有两类 JVMDriver大脑SQL 解析、Stage 拆分、Task 调度这里是最多二开和改造的地方Executor劳工读数据、计算、写数据所谓提交模式不决定“用不用 Spark”只决定Driver JVM 在哪台机器上出生。Driver 是一个进程二、client 模式spark-submit 自己就是 Driver1️⃣ 从敲命令开始spark-submit\--masteryarn\--deploy-mode client\com.xxx.MySparkApp这条命令做了什么启动一个 JVM进程名是SparkSubmit在这个 JVM 里通过反射调用你的MySparkApp.main()main()里new SparkSession()→new SparkContext()到这一步Driver 已经存在了而且就是 spark-submit 这个进程。没有任何远程启动 Driver 的动作。2️⃣ Driver 向 YARN 要资源SparkContext初始化时向 ResourceManager 申请第一个 Container这个 Container 里跑的是ApplicationMasterAM在 client 模式下AM 只干一件事帮 Driver 申请 Executor。3️⃣ Executor 反向连 DriverExecutor 启动后通过 Driver 的 RPC 地址连回来Executor ──RPC──▶ Driverspark-submit 所在机器Driver 负责Driver就像大脑而且当计算任务比较多时任务就会比较重切 Stage下发 Task收集结果AM 全程不参与计算。client 模式一句话总结Driver 在提交机上提交机不关机App 就活着。三、cluster 模式Driver 被塞进 YARN 里1️⃣ 提交机只做“投递”spark-submit\--masteryarn\--deploy-mode cluster\com.xxx.MySparkApp这次spark-submit 进程只把 jar 配置上传到 HDFS向 RM 说“起个 App”然后自己可以立刻退出2️⃣ 第一个 Container 里AM DriverYARN 分配第一个 Container启动的是org.apache.spark.deploy.yarn.YarnClusterApplication在这个 JVM 里创建 SparkContext同时扮演 ApplicationMaster自己调度自己也就是说Driver 的父进程是 YARN不是 spark-submit。3️⃣ Executor 仍然只认 DriverExecutor 启动后连接的是AM Container 里的 Driver RPC 端口。架构变成spark-submit投递员 ↓ YARN ContainerDriver AM ↓ Executorcluster 模式一句话总结Driver 在集群里提交机可以随时走人。四、两种模式的本质差异只看这一句模式Driver 在哪提交机作用client提交机启动 DriverclusterYARN Container只负责提交其他所有差异——日志、稳定性、端口、是否适合生产——都是这个事实的副作用。五、Spark Thrift Server 是什么1️⃣ STS 不是新东西启动 STSstart-thriftserver.sh等价于spark-submit\org.apache.spark.sql.hive.thriftserver.HiveThriftServer2STS 本身就是一个 Spark Application。2️⃣ 它为什么能接受 SQLHiveThriftServer2的main()做了三件事创建SparkSession启动一个 Thrift RPC 服务默认 10000 端口永远不退出BI 工具通过 JDBC 连的是jdbc:hive2://sts-host:10000这个端口后面就是 Driver 自己。 Driver被绑定到了这个Thrift RPC 服务中3️⃣ 每一条 SQL 是什么BI 发 SQL → Driver 收到 → 编译成 SparkPlan →切 Stage → 调度 Task没有新的 Application没有新的 spark-submit。只是 Driver 里多了一个 Job。4️⃣ STS 用的是哪种提交模式生产里几乎都是start-thriftserver.sh--masteryarn--deploy-mode client也就是Driver 在 STS 机器上对外暴露 JDBCExecutor 在 YARN / K8s 上所以 STS 不是第三种提交模式而是一个长期运行的 client-mode Spark Application对外伪装成数据库。六、为什么这个架构容易出问题Driver的职责太重了因为 client 模式的所有特征被“常驻”放大了Driver 单点一个 JVM 服务所有查询结果集先回 Driver再给 JDBC 客户端一个慢 SQL 占满 Driver 内存 → 所有查询一起卡权限、资源、隔离都只能在这个 Driver 内解决STS 的“像数据库”其实是错觉。它更像一个永远不退出的 spark-submit坐在那里等 SQL。七、一句话串起来clientDriver 在提交机跑完就死clusterDriver 在集群提交机可以走STSDriver 在提交机但永远不 exit专门接 JDBC八、如果你只记住一张图JDBC / spark-submit | | RPC v Driver | 调度指令 | Executorclient / STSDriver 在图左边clusterDriver 在图中间补充视角面试/架构用Spark 只有两种提交模式。STS 是“client 模式的常驻服务化”Kyuubi 则是把 STS 拆成“无状态网关 按需 client-mode Engine”。理解到这一步你再看 STS 为什么被换掉就不是“新工具更好”而是“架构假设变了”。

相关新闻

2026年AI伴学机选购指南:初中生适合哪款学习机?

2026年AI伴学机选购指南:初中生适合哪款学习机?

初中阶段是学业压力骤增的关键时期,科目从三门增加到九门,作业量翻倍,知识点难度大幅提升。很多家长发现,自己已经辅导不了孩子的数理化难题,而孩子写作业拖拉、遇到难题就卡壳、刷了很多题成绩却不见起色——这些问题…

2026/11/16 9:35:51 阅读更多 →
基于Dify构建建筑设计AI助手:从知识库到工作流的实战指南

基于Dify构建建筑设计AI助手:从知识库到工作流的实战指南

1. 为什么用 Dify 做建筑设计助手,而不是直接问大模型 如果你在建筑设计、室内设计或者相关领域工作,大概率已经试过直接问 ChatGPT、文心一言这类通用大模型一些专业问题。结果往往是:回答很笼统,没法结合你的具体项目数据&#…

2026/11/15 10:18:37 阅读更多 →
frp内网穿透实战:从原理到部署,实现远程访问与端口映射

frp内网穿透实战:从原理到部署,实现远程访问与端口映射

1. 项目概述:为什么我们需要内网穿透? 如果你尝试过在家里搭建一个网站、一个文件服务器,或者想远程访问公司电脑的桌面,大概率会遇到一个头疼的问题:你的设备处在一个由路由器构建的局域网(内网&#xff0…

2026/11/15 8:58:33 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻