OpenMetadata SingleStore 数据库连接器完整配置指南:从权限准备到元数据摄取
OpenMetadata SingleStore 数据库连接器完整配置指南从权限准备到元数据摄取【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata本指南以 OpenMetadata 仓库中 SingleStore 连接器的官方配置文档SingleStore.md为核心系统讲解如何为 SingleStore 数据库配置元数据摄取包括数据库账号权限的准备工作、连接配置中每一项参数的含义与取值建议以及摄取工作流的完整 YAML 写法。读完本文你将能够独立完成从 SingleStore 权限授予、连接器配置到元数据、血缘与 Profiler 工作流运行的全过程。一、SingleStore 连接器在 OpenMetadata 中的定位SingleStore 是 OpenMetadata 支持的数据库类连接器之一用于将 SingleStore 中的库、表、视图等元数据抽取到 OpenMetadata 平台进而支撑数据目录、数据血缘、Profiler 与数据质量等上层能力。从 service_spec.py 的源码结构可以看出SingleStore 连接器的实现由四部分组装而成元数据摄取SinglestoreSource继承自CommonDbSourceService负责抽取库表元数据血缘摄取SinglestoreLineageSource实现视图血缘view lineageProfiler 支持SingleStoreProfilerInterface提供 SQLAlchemy 层面的 Profiler 接口连接模型SingleStoreConnection定义连接参数与连接测试逻辑。ServiceSpec DefaultDatabaseSpec( metadata_source_classSinglestoreSource, profiler_classSingleStoreProfilerInterface, lineage_source_classSinglestoreLineageSource, connection_classSingleStoreConnection, )因此本文档中的连接配置不仅服务于元数据摄取也同时作用于血缘和 Profiler 工作流。二、Requirements连接账号的权限准备2.1 元数据摄取的最小权限要成功抽取元数据连接配置中使用的用户必须能够访问INFORMATION_SCHEMA。默认情况下SingleStore 用户只能看到自己拥有访问权限的对象所对应的INFORMATION_SCHEMA行因此需要显式授予目标库/表的读取权限。官方文档给出以下 SQL 示例SingleStore.md-- 创建用户 -- 更完整的 CREATE USER 语法参见 SingleStore 官方文档 CREATE USER username[hostName] IDENTIFIED BY password; -- 授予某个数据库的 SELECT 权限 GRANT SELECT ON world.* TO username; -- 授予某个数据库的 SELECT 权限 GRANT SELECT ON world.* TO username; -- 授予某个具体对象的 SELECT 权限 GRANT SELECT ON world.hello TO username;要点说明CREATE USER中的[hostName]为可选部分用于限定用户可从哪些主机连接若不加主机名用户可以从任意主机访问。最小权限原则下只需授予元数据摄取所涉及库表的SELECT权限即可无需管理员权限。2.2 Profiler 与数据质量所需的额外权限运行Profiler 工作流或数据质量测试时所使用的用户还需要对将要执行 Profiler/测试的表或 Schema 拥有SELECT权限。也就是说只做了 2.1 节的基础授权还不足以支撑 Profiler 与数据质量工作流需要按实际执行范围扩展授权。这一要求在源码层面同样得到印证SingleStore 的 Profiler 由SingleStoreProfilerInterface提供而连接与测试逻辑统一走test_connection_db_schema_sources见 connection.py数据库类源的连接测试对权限的校验正是建立在INFORMATION_SCHEMA与目标表可读的基础上。三、Connection Details连接参数逐项详解以下参数对应 OpenMetadata UI 中新建 SingleStore 数据库服务时的“Connection Details”配置表单每一项的id用于表单字段与文档锚点的绑定。3.1 SchemeidschemeSQLAlchemy 驱动的 scheme 选项。如果不确定使用默认值即可。从单元测试 test_connection.py 可以看到实际使用的 scheme 枚举值为SingleStoreScheme.mysql_pymysql最终生成的连接串为mysqlpymysql://openmetadata_user:openmetadata_passwordlocalhost:3306/openmetadata_db这说明 SingleStore 连接器底层基于 SQLAlchemy 的 MySQL dialectpymysql 驱动来建立连接scheme 字段决定了驱动 URL 的前缀部分。3.2 Usernameidusername用于连接 SingleStore 的用户名。该用户需要能访问INFORMATION_SCHEMA以抽取元数据其他工作流如 Profiler、数据质量可能需要不同的权限详见上文“Requirements”一节。3.3 Passwordidpassword连接 SingleStore 时使用的密码。3.4 Host PortidhostPortSingleStore 实例的主机与端口格式为hostname:port。例如localhost:3306。Docker 场景特别提示如果 OpenMetadata 摄取进程运行在 Docker 容器中而 SingleStore 服务托管在宿主机localhost上则应使用host.docker.internal:3306作为取值以便容器内访问宿主机的服务。3.5 Database NameiddatabaseNameOpenMetadata 的 Database Service 层级结构为Database Service Database Schema Table在 SingleStore 场景下实际上并不存在传统意义上的“Database”这一层。如果你希望数据以default之外的名字展示可以在该字段指定一个名称。3.6 Database SchemaiddatabaseSchema可选参数。设置后将把元数据读取范围限制到与该字段值对应的单一数据库留空时OpenMetadata 会扫描全部数据库。注意示例工作流 singlestore.yaml 中databaseSchema: custom_database_name与单元测试中databaseSchemaopenmetadata_db都验证了该字段会直接拼入 SQLAlchemy 连接 URL 的数据库路径段...localhost:3306/openmetadata_db因此它实际上充当了 SQLAlchemy URL 中的 database 部分用于限定连接与读取范围。3.7 Connection OptionsidconnectionOptions额外的连接选项用于构建发送给服务的连接 URL。适用于需要在 URL 中追加查询参数如字符集、超时等的场景。3.8 Connection ArgumentsidconnectionArguments额外的连接参数例如安全或协议相关的配置会在连接时传递给服务。典型用途包括传递 SQLAlchemyconnect_args中的 SSL 配置等。四、端到端实践完整摄取工作流配置将上述参数落到实际运行中一份可直接参考的 SingleStore 元数据摄取工作流 YAML 位于 ingestion/src/metadata/examples/workflows/singlestore.yaml核心结构如下source: type: singlestore serviceName: local_singlestore serviceConnection: config: type: SingleStore username: openmetadata_user password: openmetadata_password hostPort: localhost:3306 databaseSchema: custom_database_name sourceConfig: config: type: DatabaseMetadata sink: type: metadata-rest config: {} workflowConfig: # loggerLevel: INFO # DEBUG, INFO, WARN or ERROR openMetadataServerConfig: hostPort: http://localhost:8585/api authProvider: openmetadata securityConfig: jwtToken: eyJraWQiOi...字段速查字段取值示例说明source.typesinglestore源类型标识固定为 singlestoreserviceConnection.config.typeSingleStore服务连接配置类型username/passwordopenmetadata_user/openmetadata_password具备INFORMATION_SCHEMA访问权限的账号hostPortlocalhost:3306主机与端口Docker 内访问宿主机用host.docker.internal:3306databaseSchemacustom_database_name可选限定读取单一数据库留空则扫描全部sourceConfig.config.typeDatabaseMetadata工作流类型此处为元数据摄取sink.typemetadata-rest将摄取结果写入 OpenMetadata APIworkflowConfig.openMetadataServerConfig.hostPorthttp://localhost:8585/apiOpenMetadata 服务地址workflowConfig.loggerLevelINFO可选日志级别DEBUG / INFO / WARN / ERROR运行方式将该 YAML 保存为本地文件通过 OpenMetadata 的 ingestion CLI 或 Airflow 调度执行元数据摄取工作流摄取前可用“Test Connection”校验连通性底层对应 connection.py 中的test_connection超时默认 3 分钟。五、底层原理与实现佐证连接建立connection.py 中_get_client通过BasicAuthStrategy基于SingleStoreConnection配置构建 SQLAlchemyEngine即用户名/密码的基础认证方式。类型校验与元数据抽取metadata.py 中SinglestoreSource.create会对传入配置做严格类型检查非SingleStoreConnection直接抛出InvalidSourceException同时该模块通过复用 MySQL dialect 的ischema_names与MySQLTableDefinitionParser并覆盖_parse_column来解析 SingleStore 表结构因为 SingleStore 与 MySQL 高度兼容。血缘lineage.py 中SinglestoreLineageSource继承LineageSource实现视图级血缘抽取。连接串验证单元测试 test_connection.py 断言了scheme username password hostPort databaseSchema组装出的最终 URL 形态可作为配置正确性的直接判据。六、常见问题与排查建议元数据抽取为空优先检查连接账号对目标库表是否有SELECT权限以及是否可读取INFORMATION_SCHEMA默认只能看到有权限的对象。Docker 环境连不上确认hostPort是否使用了host.docker.internal替代localhost。只看到部分数据库检查databaseSchema是否被设置——设置了该字段后只会摄取与该值对应的单一数据库需要全量扫描时应留空。Profiler/数据质量任务失败除基础SELECT外确认用户对执行范围内的表/Schema 具备SELECT权限。连接测试失败可先核对 scheme 默认值是否被改动再确认hostPort格式为hostname:port如localhost:3306。【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

mold 仓库内置 oneTBB 的 Windows 平台 C/C++ 动态内存接口替换(tbbmalloc_proxy)完全指南

mold 仓库内置 oneTBB 的 Windows 平台 C/C++ 动态内存接口替换(tbbmalloc_proxy)完全指南

mold 仓库内置 oneTBB 的 Windows 平台 C/C 动态内存接口替换(tbbmalloc_proxy)完全指南 【免费下载链接】mold mold: A Modern Linker 🦠 项目地址: https://gitcode.com/GitHub_Trending/mo/mold 导读 本指南以 mold 仓库中 oneTBB…

2026/11/17 4:35:21 阅读更多 →
Metin2时装武器从proto到UI的完整解析链与排错指南

Metin2时装武器从proto到UI的完整解析链与排错指南

简介:围绕《Metin2》游戏中的时装武器(Costume Weapon)与本地化内容,这套资源适合希望研究客户端/服务端实现、进行二创或私服定制的玩家与开发者。压缩包共21个文件,总大小23KB,以C代码为主,内…

2026/11/9 18:51:26 阅读更多 →
Apache APISIX xRPC 框架深度指南:自定义 L4 应用协议代理、故障注入与动态路由实战

Apache APISIX xRPC 框架深度指南:自定义 L4 应用协议代理、故障注入与动态路由实战

Apache APISIX xRPC 框架深度指南:自定义 L4 应用协议代理、故障注入与动态路由实战 【免费下载链接】apisix The Cloud-Native API Gateway 项目地址: https://gitcode.com/GitHub_Trending/ap/apisix Apache APISIX 的 xRPC 是一套面向 L4 层(T…

2026/11/7 9:16:19 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻