Presto核心概念全解Coordinator、Worker、Stage、Split、Driver一次讲透【免费下载链接】prestoThe official home of the Presto distributed SQL query engine for big data项目地址: https://gitcode.com/gh_mirrors/pre/prestoPrestoPrestoDB是业界主流的分布式 SQL 查询引擎可以对从 GB 到 PB 级别的数据源执行快速分析查询。要真正用好它关键在于理解五个核心概念Coordinator、Worker、Stage、Split、Driver。本文用最短的篇幅把 Presto 分布式查询的执行模型一次讲透并告诉你如何在界面上亲眼看到它们。1️⃣ 集群里的大脑与四肢Coordinator 与 WorkerPresto 采用典型的分布式架构整个集群由两类核心节点组成角色职责通俗类比Coordinator协调器解析 SQL、生成查询计划、管理 Worker 节点、调度任务项目经理只指挥不动手Worker工作节点执行任务、从数据源拉取数据、与其他 Worker 交换中间结果施工队真正干活的几个新手必须知道的细节Coordinator 是客户端连接的第一入口。所有 SQL 语句都提交给它最终结果也由它从 Worker 汇总后返回给客户端。Worker 启动后会主动向 Coordinator 内的 Discovery服务发现服务器注册自己之后才能被分配任务。开发或测试时一台机器可以同时扮演两个角色配置中coordinatortrue并加上node-scheduler.include-coordinatortrue生产集群则建议让 Coordinator 专职协调性能最佳。除了这两类节点还有一种Resource Manager节点用于在协调器解耦disaggregated的部署形态中聚合全局集群视图普通用户了解即可。Coordinator 与 Worker 之间通过 REST API 通信配置方式详见 deployment.rst。2️⃣ 一条 SQL 如何被拆解执行Stage、Split 与 Driver当你在 Presto 中提交一条 SQLStatement后Coordinator 会把它转化为一个Query查询并生成一棵Stage 树来执行。这是理解 Presto 最关键的一层结构Stage查询计划的树状分层Stage 是把分布式查询计划分成若干层级的执行单元。每个查询都有一个root stage根阶段它负责聚合下层多个 Stage 的输出——比如对 10 亿行 Hive 数据做聚合时底层 Stage 负责扫描和局部聚合root stage 负责最终合并。⚠️ 易错点Stage 只是 Coordinator 用来建模执行计划的逻辑概念Stage 本身并不运行在 Worker 上。TaskStage 落地到 Worker 上的分身每个 Stage 会被拆成一组Task分布式地调度到集群中不同 Worker 上执行。Task 是 Presto 架构中的work horse工作马一个 Stage 由多个 Task 并行实现而一个 Task 又由多个 Driver 并行实现。SplitTask 处理的数据切片Split 是大数据集的一个片段是数据调度的基本单位最底层 Stage 的 Task 通过 Connector 从数据源读取 Split例如 Hive 表的一个文件分片上层中间 Stage 的 Task 则从下层 Stage 拉取数据Coordinator 会持续跟踪哪台机器在跑哪个 Task、哪个 Task 在处理哪个 Split。Driver 与 Operator最细粒度的并行单元Driver 是 Task 内部一组并行运行的算子序列每个 Driver 有一个输入和一个输出是 Presto 中最细粒度的并行执行单元。Driver 里的每个算子叫Operator如 TableScan、Filter、Aggregate它们负责消费、转换和生产数据。一句话总结这条链路Query → Stage树→ Task分布在 Worker 上→ Driver并行算子链→ 处理 Split数据切片3️⃣ 阶段之间怎么传数据Exchange 与 Shuffle上层 Stage 的数据来自下层 Stage靠的是ExchangeTask 把数据写入输出缓冲区output buffer下游 Stage 的 Task 通过 exchange client 拉取。下图展示了数据 Shuffle 的过程每个上游 Worker 会为下游的每个 Worker 各准备一个输出缓冲区下游 Worker #0 用 buffer 0 从所有上游 Worker 拉数据#1 用 buffer 1以此类推此外Presto 还支持Exchange 物化Exchange Materialization把中间 Shuffle 数据先落盘临时 Hive 分桶表带来类似 MapReduce 的执行方式专门服务于内存消耗极大的查询这两篇文档值得深入阅读worker-protocol.rst 和 exchange-materialization.rst。4️⃣ 亲眼看到 Stage、Task 与 SplitQuery Viewer概念讲完最直观的方式就是打开Presto Console默认http://localhost:8080在Query Viewer中可以查看一条查询的完整执行细节Stage 树结构、每个 Stage 的 Task 数量、Splits 处理进度、各阶段耗时等——这正是前面所有概念在现实中的样子。使用方法见 presto-console.rst。5️⃣ 核心概念速查表概念一句话定义层级Coordinator解析 SQL、生成计划、调度任务的大脑集群层Worker执行任务、处理数据的工作节点集群层Stage查询计划的一个层级构成树状结构计划层TaskStage 在单个 Worker 上的执行实例计划层Split数据集的一个片段数据调度的基本单位数据层DriverTask 内并行的算子链最细粒度并行单元执行层Operator消费、转换、生产数据的单个算子执行层Exchange跨节点、跨 Stage 传输数据output buffer通信层写在最后掌握这五个概念你就能看懂 Presto 的查询计划、读懂 UI 里的执行详情也为后续学习 ARCHITECTURE.md 中的架构愿景和 concepts.rst 官方完整概念文档打下基础。建议结合一条真实 SQL 在 Query Viewer 中对照本文逐层验证理解会更深。【免费下载链接】prestoThe official home of the Presto distributed SQL query engine for big data项目地址: https://gitcode.com/gh_mirrors/pre/presto创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考