Apache DolphinScheduler 接入 AWS Athena 数据源完整配置指南与源码解析【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/do/dolphinschedulerApache DolphinScheduler 的「数据源中心」原生支持通过 JDBC 方式接入 AWS Athena 无服务器查询引擎让工作流中的 SQL 任务可以直接对 S3 上的数据执行交互式查询与分析。本指南以 docs/docs/zh/guide/datasource/athena.md 为核心骨架完整介绍 Athena 数据源的创建步骤、字段含义、驱动部署与激活流程并结合仓库中dolphinscheduler-datasource-athena插件源码与测试用例深入说明连接 URL 的构造原理与参数拼接规则。读完本文你将能够独立完成 Athena 数据源的激活、创建、连接测试以及在工作流中的使用。一、Athena 数据源概览AWS Athena 是亚马逊云科技提供的无服务器交互式查询服务允许用户直接使用标准 SQL 查询存储在 Amazon S3 中的数据无需管理任何基础设施。DolphinScheduler 通过 Simba Athena JDBC 驱动AthenaJDBC42.jar将其接入数据源中心从而在工作流编排中复用 Athena 的查询能力。在 DolphinScheduler 的数据源类型下拉框中Athena 数据源的类型标识为ATHENA。前端创建表单位于 dolphinscheduler-ui/src/views/datasource/list/use-form.ts其中showAwsRegion标志位在类型为ATHENA或SAGEMAKER时置为true从而动态展示 AWS Region 输入框awsRegion字段同时被纳入必填校验use-form.ts。任务节点的数据源选择下拉同样注册了ATHENA类型use-datasource.ts意味着 Athena 数据源可直接被 SQL 等任务类型引用。二、创建 Athena 数据源字段逐项说明进入「数据源中心 - 创建数据源」选择数据源类型为 ATHENA表单包含以下字段字段说明是否必填备注数据源下拉选择 ATHENA必填类型标识为ATHENA数据源名称输入数据源的名称必填建议使用易于识别的英文名称如test-athena描述输入数据源的描述选填说明用途、所属业务等用户名设置连接 AWS 的 access key必填即 AWS Access Key ID密码设置连接 AWS 的 secret access key必填即 AWS Secret Access KeyAwsRegion设置连接 AWS 的区域必填如cn-north-1北京、us-east-1等数据库名输入连接 ATHENA 的数据库名称选填对应 Athena 中的数据库Database可为空Jdbc 连接参数用于 ATHENA 连接的参数设置以 JSON 形式填写选填以key:value形式传入会拼接到 JDBC URL 末尾其中「Jdbc 连接参数」必须使用合法 JSON 格式前端会调用utils.isJson()进行格式校验非法 JSON 会提示datasource.jdbc_format_tipsuse-form.ts。常见 Jdbc 连接参数示例JSON 形式{ LogLevel: 6, LogPath: /tmp, WorkGroup: primary }提示LogLevel用于控制 Athena JDBC 驱动的日志级别LogPath指定驱动日志输出路径WorkGroup用于指定 Athena 工作组WorkGroup。具体可用参数以官方驱动文档为准。三、驱动部署与数据源激活是否原生支持Athena 数据源并非 DolphinScheduler 原生支持的开箱即用数据源需要手动完成驱动部署与激活后才能正常使用具体原因与步骤参见 数据源配置 中的「数据源中心」章节。3.1 为什么需要手动激活DolphinScheduler 对部分数据源如 MySQL、Oracle、SQL Server、Athena 等的 JDBC 驱动与 Apache LICENSE V2 不兼容因此无法在官方二进制分发包中内置这些驱动。用户必须自行下载驱动并放置到正确位置这一限制在 数据源配置 中有明确说明。3.2 驱动下载与放置JDBC 驱动配置参考文档Athena 官方文档《athena-connect-with-jdbc》驱动下载链接SimbaAthenaJDBC-2.0.31.1000/AthenaJDBC42.jar位于 AWS S3 官方驱动下载地址。下载AthenaJDBC42.jar后需要将其放置到以下服务的 libs 目录容器部署时对应挂载路径然后重启相应服务服务放置目录API Server数据源中心api-server/libsWorker Server任务执行worker-server/libs注意仅当需要在数据源中心使用 Athena 时只需在 API Server 放置驱动若工作流任务如 SQL 任务需要实际连接 Athena 执行查询则 Worker Server 也必须放置同一驱动否则任务运行时会因找不到驱动类而失败。3.3 验证激活完成驱动放置与服务重启后在「数据源中心」创建 Athena 数据源时点击测试连接只有通过连接性测试后才能保存数据源。测试连接会实际调用驱动建立 JDBC 连接并执行校验查询见下文第五节因此驱动是否生效会直接体现在测试结果上。四、源码视角Athena 数据源插件的实现结构Athena 数据源在仓库中作为独立 Maven 模块存在位于dolphinscheduler-datasource-plugin/dolphinscheduler-datasource-athena模块通过 SPI 机制AutoService自动注册到数据源插件体系中。4.1 模块组成dolphinscheduler-datasource-athena/ └── src/main/java/org/apache/dolphinscheduler/plugin/datasource/athena/ ├── AthenaDataSourceChannelFactory.java # 数据源通道工厂SPI 注册入口 ├── AthenaDataSourceChannel.java # 数据源通道创建 AdHoc/池化客户端 ├── AthenaAdHocDataSourceClient.java # 临时非池化连接客户端 ├── AthenaPooledDataSourceClient.java # 连接池客户端 └── param/ ├── AthenaConnectionParam.java # 连接参数含 awsRegion 字段 ├── AthenaDataSourceParamDTO.java # 表单参数 DTO含 awsRegion 字段 └── AthenaDataSourceProcessor.java # 参数转换与连接建立核心逻辑关键注册逻辑AthenaDataSourceChannelFactory.java 通过AutoService(DataSourceChannelFactory.class)注册getName()返回DbType.ATHENA.getName()即数据源类型标识ATHENAAthenaDataSourceProcessor.java 通过AutoService(DataSourceProcessor.class)注册负责参数序列化/反序列化、JDBC URL 构造与连接建立。4.2 连接参数的字段映射AthenaConnectionParam.java 继承BaseConnectionParam在通用字段user、password、address、database、jdbcUrl、driverClassName、validationQuery、other之外额外定义了awsRegion字段用于保存 AWS 区域。AthenaDataSourceParamDTO.java 继承BaseDataSourceParamDTO同样增加awsRegion字段getType()返回DbType.ATHENA。表单中填写的「用户名Access Key」「密码Secret Key」「AwsRegion」「数据库名」「Jdbc 连接参数」分别对应 DTO 中的userName、password、awsRegion、database、other。五、源码视角连接 URL 的构造原理Athena 数据源的 JDBC URL 由 AthenaDataSourceProcessor.createConnectionParams 构造核心逻辑如下String address String.format(%s%s%s;, DataSourceConstants.JDBC_ATHENA, AwsRegion, athenaParam.getAwsRegion());其中常量定义在 DataSourceConstants.java常量值用途JDBC_ATHENAjdbc:awsathena://JDBC URL 前缀COM_ATHENA_JDBC_DRIVERcom.simba.athena.jdbc.Driver驱动类全限定名ATHENA_VALIDATION_QUERYselect 1连接校验查询语句因此当 AwsRegion 填写cn-north-1时生成的 JDBC URL 基础部分为jdbc:awsathena://AwsRegioncn-north-1;5.1 Jdbc 连接参数的拼接规则表单中「Jdbc 连接参数」以 JSON 形式填写前端校验其为合法 JSON 后后端在 getJdbcUrl 中将其转换为keyvalue形式并以分号;连接拼接到 JDBC URL 末尾return String.format(%s;%s, athenaConnectionParam.getJdbcUrl(), transformOther(athenaConnectionParam.getOther()));transformOther方法将 JSON Map 逐项转换为keyvalue并以分号连接AthenaDataSourceProcessor.java。例如填写{ LogLevel: 6, LogPath: /tmp }最终 JDBC URL 为jdbc:awsathena://AwsRegioncn-north-1;LogLevel6;LogPath/tmp这一拼接行为在单元测试 AthenaDataSourceProcessorTest.java 中得到验证Assertions.assertEquals(jdbc:awsathena://AwsRegioncn-north-1;LogLevel6;LogPath/tmp, this.athenaDataSourceProcessor.getJdbcUrl(athenaConnectionParam));5.2 连接建立与密码加密getConnection 展示了实际建连过程通过Class.forName(com.simba.athena.jdbc.Driver)加载 Athena JDBC 驱动——这正是前文「必须手动放置驱动」的根本原因若驱动缺失此处会抛出ClassNotFoundException使用最终 JDBC URL、用户名Access Key和解密后的密码Secret Key调用DriverManager.getConnection(...)建立连接。密码在存储时通过PasswordUtils.encodePassword加密AthenaDataSourceProcessor.java读取时通过PasswordUtils.decodePassword解密确保敏感凭据不以明文落库。5.3 校验查询与两种连接模式Athena 插件的校验查询为select 1ATHENA_VALIDATION_QUERY「测试连接」时即执行该查询以验证连通性。连接通道 AthenaDataSourceChannel.java 提供两种客户端AdHoc 客户端AthenaAdHocDataSourceClient.java用于一次性的临时查询场景池化客户端AthenaPooledDataSourceClient.java基于连接池复用连接适用于工作流任务中频繁执行的查询。六、使用 Athena 数据源执行 SQL 任务数据源创建并测试通过后即可在工作流中引用进入「项目管理 - 工作流定义」创建或编辑工作流添加SQL 任务节点在任务配置的「数据源」下拉中选择已创建的 Athena 数据源下拉选项中包含ATHENA类型见 use-datasource.ts编写 Athena 支持的 SQL如SELECT ... FROM db.table并配置运行参数保存并上线工作流Worker 节点将使用已部署的 Athena JDBC 驱动执行查询。任务执行发生在 Worker 进程内因此请确保Worker Server 也已部署 Athena JDBC 驱动否则任务会因驱动缺失而失败。七、常见问题排查现象可能原因处理方式测试连接失败报ClassNotFoundExceptionAPI Server 未放置AthenaJDBC42.jar将驱动放入api-server/libs并重启服务任务执行失败报驱动加载异常Worker Server 未放置驱动将驱动放入worker-server/libs并重启服务提示 AWS Region 必填表单未填写 AwsRegion填写如cn-north-1、us-east-1等区域代码Jdbc 连接参数报格式错误填写的不是合法 JSON确保以key:value的 JSON 对象格式填写连接被拒或鉴权失败Access Key / Secret Key 错误或该 Key 无 Athena 相关权限核对凭据并确认 IAM 权限如athena:StartQueryExecution、athena:GetQueryResults八、总结DolphinScheduler 通过dolphinscheduler-datasource-athena插件以 SPI 方式接入 AWS Athena核心驱动类为com.simba.athena.jdbc.Driver创建数据源时需填写 Access Key、Secret Key、AwsRegion、数据库名与可选 Jdbc 连接参数JSON其中 AwsRegion 会生成到 JDBC URLjdbc:awsathena://AwsRegionregion;中Jdbc 连接参数以keyvalue;形式追加Athena 属于非原生支持数据源必须手动将AthenaJDBC42.jar部署到 API Server 与 Worker Server 的 libs 目录并重启详见 数据源配置插件实现细节URL 构造、密码加解密、校验查询、连接池均有对应源码与单元测试支撑可分别查阅 AthenaDataSourceProcessor.java 与 AthenaDataSourceProcessorTest.java 深入验证。【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/do/dolphinscheduler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考