DataHub 使用 MariaDB 作为 GMS 存储后端的完整部署指南【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub本指南围绕仓库 docker/mariadb/README.md 展开介绍如何用官方未修改的 MariaDB 镜像替换 DataHub GMS 默认存储覆盖 Docker Compose 覆盖文件、环境变量与连接参数解析并结合 docker/datahub-gms/env/docker.mariadb.env 和 metadata-ingestion 源码说明 MariaDB 在 DataHub 中的接入方式与适用边界帮助读者完成一个可运行、可自检的 MariaDB 版 DataHub 部署。DataHub 的 GMSGeneralized Metadata Service默认以 MySQL 作为主存储但仓库也内置了使用 MariaDB 作为备选存储后端的完整方案。在 docker/mariadb/README.md 中项目明确说明DataHub GMS 可以将 MariaDB 作为替代存储后端使用且直接采用 Docker Hub 上的官方 MariaDB 镜像不做任何修改。这意味着接入方式完全围绕 Docker Compose 的服务编排与 GMS 的 JDBC 配置展开无需定制镜像。MariaDB 在 DataHub 中的定位与适用前提从仓库结构看MariaDB 与 MySQL 在 DataHub 中属于同一族存储方案GMS 通过 EBEAN_DATASOURCE_URL 这类EBEAN_DATASOURCE_*环境变量连接关系型数据库MariaDB 只需把 JDBC URL、驱动类名切换到mariadb协议即可元数据采集侧metadata-ingestion/src/datahub/ingestion/source/sql/mariadb.py 中的MariaDBSource直接继承自MySQLSource仅通过get_platform()返回mariadb来区分平台标识metadata-ingestion/tests/unit/test_mariadb_source.py 也验证了这一点source.platform mariadb。因此可以推断DataHub 官方把 MariaDB 视为 MySQL 兼容存储用于替换 GMS 的主存储后端而非独立实现一套全新存储层。使用前需要确认你的部署版本确实包含了上述 Compose 覆盖文件与 GMS 环境变量模板本仓库当前版本均存在。使用官方 MariaDB 镜像的 Compose 覆盖方案接入入口是 docker/mariadb/docker-compose.mariadb.yml它是一个典型的 Docker Compose覆盖override文件用来在标准 DataHub 堆栈之上叠加一个 MariaDB 服务并让datahub-gms指向它# Override to use MariaDB as a backing store for datahub-gms. --- services: mariadb: hostname: mariadb image: mariadb:10.5 env_file: env/docker.env ports: - 3306:3306 datahub-gms: env_file: ../datahub-gms/env/dev.mariadb.env depends_on: - mariadb networks: default: name: datahub_network各配置项的作用与含义配置项值说明imagemariadb:10.5直接使用 Docker Hub 官方 MariaDB 10.5 镜像仓库未做任何定制或二次打包hostnamemariadb容器内主机名与 GMS 端 JDBC URL 中的主机名mariadb保持一致env_fileenv/docker.envMariaDB 容器的初始化环境变量文件用于创建数据库与账号ports3306:3306将宿主机的 3306 端口映射到容器便于本地用任意 MySQL/MariaDB 客户端直连排查datahub-gms.env_file../datahub-gms/env/dev.mariadb.env将 GMS 的 MariaDB 版环境变量注入datahub-gms容器depends_onmariadb确保datahub-gms在 MariaDB 容器启动后再启动networks.default.namedatahub_network显式指定共享网络名保证 MariaDB 与 GMS 处于同一 Docker 网络从命名习惯看env/docker.env与../datahub-gms/env/dev.mariadb.env分别对应容器侧数据库初始化与GMS 侧连接配置在实际使用前需要确认这两个 env 文件在目标部署目录中已按模板准备好仓库中可参考 MySQL 的对应模板 docker/profiles/mysql/env/docker.env其中包含MYSQL_DATABASEdatahub、MYSQL_USERdatahub、MYSQL_PASSWORDdatahub、MYSQL_ROOT_PASSWORDdatahub等初始化变量MariaDB 官方镜像同样支持这些MYSQL_*环境变量。GMS 连接 MariaDB 的关键环境变量GMS 侧的核心配置集中在 docker/datahub-gms/env/docker.mariadb.env这份模板展示了切换到 MariaDB 后必须调整的存储相关变量DATAHUB_UPGRADE_HISTORY_KAFKA_CONSUMER_GROUP_IDgeneric-duhe-consumer-job-client-gms EBEAN_DATASOURCE_USERNAMEdatahub EBEAN_DATASOURCE_PASSWORDdatahub EBEAN_DATASOURCE_HOSTmariadb:3306 EBEAN_DATASOURCE_URLjdbc:mariadb://mariadb:3306/datahub EBEAN_DATASOURCE_DRIVERorg.mariadb.jdbc.Driver KAFKA_BOOTSTRAP_SERVERbroker:29092 KAFKA_SCHEMAREGISTRY_URLhttp://schema-registry:8081 ELASTICSEARCH_HOSTelasticsearch ELASTICSEARCH_PORT9200 ES_BULK_REFRESH_POLICYNONE ELASTICSEARCH_INDEX_BUILDER_SETTINGS_REINDEXtrue ELASTICSEARCH_INDEX_BUILDER_MAPPINGS_REINDEXtrue NEO4J_HOSThttp://neo4j:7474 NEO4J_URIbolt://neo4j NEO4J_USERNAMEneo4j NEO4J_PASSWORDdatahub MAE_CONSUMER_ENABLEDtrue MCE_CONSUMER_ENABLEDtrue JAVA_OPTS-Xms1g -Xmx1g ENTITY_REGISTRY_CONFIG_PATH/datahub/datahub-gms/resources/entity-registry.yml其中与 MariaDB 强相关的四个存储变量是环境变量示例值作用EBEAN_DATASOURCE_URLjdbc:mariadb://mariadb:3306/datahubJDBC 连接串mariadb协议 主机mariadb 端口3306 数据库名datahub与 Compose 中hostname: mariadb、端口映射3306一一对应EBEAN_DATASOURCE_DRIVERorg.mariadb.jdbc.Driver使用 MariaDB 官方 JDBC 驱动类与 MySQL 的com.mysql.cj.jdbc.Driver不同这是换后端最实质的差异点EBEAN_DATASOURCE_USERNAME/EBEAN_DATASOURCE_PASSWORDdatahub/datahub连接账号需要与 MariaDB 容器初始化时创建的MYSQL_USER/MYSQL_PASSWORD模板见 docker/profiles/mysql/env/docker.env保持一致EBEAN_DATASOURCE_HOSTmariadb:3306供内部解析使用的主机与端口组合其余变量Kafka、Elasticsearch、Neo4j 等与标准堆栈保持一致说明 MariaDB 只替换主存储一环消息队列、搜索索引、图存储等组件不受影响。启动 MariaDB 版 DataHub 的步骤与自检方法由于仓库中的docker/mariadb目录本身只提供 Compose 覆盖文件和 README实际启动流程可以按如下方式组织注意以下命令描述的是仓库允许的查看与运行方式仓库本身为只读请在可写的部署目录中执行准备基础堆栈将仓库中完整的 DataHub Docker 部署模板docker/profiles下的各 compose 文件及env模板例如 docker/profiles/docker-compose.yml复制到部署目录准备 MariaDB 相关 env 文件按 docker/datahub-gms/env/docker.mariadb.env 的键值对创建 GMS 侧 env按 docker/profiles/mysql/env/docker.env 的MYSQL_*变量MYSQL_DATABASEdatahub、MYSQL_USERdatahub、MYSQL_PASSWORDdatahub创建 MariaDB 容器初始化 env仓库中docker/mariadb/docker-compose.mariadb.yml引用的是相对路径env/docker.env与../datahub-gms/env/dev.mariadb.env请按实际目录结构调整以覆盖方式启动在部署目录执行docker compose -f docker-compose.yml -f docker-compose.mariadb.yml up -d具体文件名以你复制的模板为准Compose 会按depends_on顺序先拉起mariadb再启动datahub-gms自检连接用任意 MySQL/MariaDB 客户端连接宿主机的3306端口检查datahub数据库与账号是否创建成功查看datahub-gms容器日志确认 JDBC 驱动org.mariadb.jdbc.Driver加载成功、EBean 初始化未报连接错误确认mariadb与datahub-gms都挂在datahub_network网络上docker network inspect datahub_network。从源码看 MariaDB 在 DataHub 生态中的接入方式除了 GMS 存储后端仓库还为 MariaDB 提供了元数据采集支持两者共同构成了存储 采集的完整闭环采集端metadata-ingestion/src/datahub/ingestion/source/sql/mariadb.py 定义了MariaDBSource通过装饰器声明平台名为MariaDB、支持状态为 GA并复用MySQLConfig作为配置类——这意味着采集 MariaDB 元数据时recipe 配置与 MySQL 完全同构只需把type指定为mariadb能力矩阵从源码装饰器可以确认 MariaDB 采集端支持平台实例默认开启、数据画像可选开启、使用统计与血缘通过include_usage_statistics读取performance_schema或mysql.general_log、视图级表血缘与列血缘默认开启等能力测试验证metadata-ingestion/tests/unit/test_mariadb_source.py 通过assert source.platform mariadb验证了平台标识被正确设置为mariadb与 MySQL 源区分开来文档与示例metadata-ingestion/docs/sources/mariadb/ 目录下提供了 MariaDB 采集的 pre/post 说明文档与 recipe 示例mariadb_recipe.yml集成测试 golden 文件见 metadata-ingestion/tests/integration/mariadb/。与 MySQL 方案的对比与注意事项仓库同时提供了 MySQLdocker/profiles/mysql/README.md与 MariaDBdocker/mariadb/README.md两条存储路线二者在部署模式上高度相似需要注意的差异点包括镜像来源两者都强调使用 Docker Hub 官方镜像、不做修改MariaDB 固定为mariadb:10.5而 profiles 中的 MySQL 默认可通过DATAHUB_MYSQL_VERSION指定版本如8.2并额外配置了utf8mb4字符集与caching_sha2_password认证插件JDBC 驱动MariaDB 必须使用org.mariadb.jdbc.Driver与jdbc:mariadb://协议见 docker/datahub-gms/env/docker.mariadb.env不要与 MySQL 的驱动/URL 混用账号初始化MariaDB 官方镜像同样识别MYSQL_DATABASE、MYSQL_USER、MYSQL_PASSWORD等环境变量参考 docker/profiles/mysql/env/docker.env 的键名确保 GMS 侧EBEAN_DATASOURCE_USERNAME/PASSWORD与之完全一致适用范围本文方案针对 GMS 主存储后端替换若你同时需要将 MariaDB 作为被采集的数据源则应使用 metadata-ingestion 的mariadbsource详见 metadata-ingestion/docs/sources/mariadb/mariadb_pre.md两者属于不同层面的接入。按照上述配置即可在 DataHub 中启用 MariaDB 存储后端并通过 Compose 覆盖文件、GMS 环境变量与源码侧的平台标识完整理解官方镜像 零修改接入的落地路径。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考