Flink-CDC 抽取SQLServer问题总结
Flink-CDC 抽取SQLServer问题总结背景flink-cdc 抽取数据到kafka 中使用flink-sql进行开发相关问题总结flink-cdc 配置SQLServer cdc参数1.创建CDC 使用的角色, 并授权给其查询待采集数据数据库-- a.创建角色 create role flink_role; -- b.授权给角色 grant select on SCHEMA::dbo to flink_role; -- c. 角色添加给数据库登陆用户 alter role flink_role add member 登陆用户;创建文件组用于存储CDC捕获SQLServer需要的数据文件-- a. 查询文件组是否存在 select name AS filegroup_name ,type as filegroup_type from sys.filegroups; -- b.添加文件组 use 数据库 go alter database 数据库 add filegroup flinkFG go alter database 数据库 add file ( NAME rytbdat1, FILENAME D:\MSSQL\Data\rtybdat1.ndf, SIZE 50MB, MAXSIZE 500MB, FILEGROWTH 50MB ), ( NAME rytbdat2, FILENAME D:\MSSQL\Data\rtybdat2.ndf, SIZE 50MB, MAXSIZE 500MB, FILEGROWTH 50MB ) TO FILEGROUP flinkFG; --- 查看文件组 SELECT name AS 文件逻辑名称, physical_name AS 物理文件路径, (size * 8 / 1024) AS 文件大小MB, max_size AS 最大文件大小MB, growth AS 文件增长量MB, type_desc AS 文件类型 FROM sys.database_files;执行CDC配置并检查是否成功--- enable cdc operation for datbase 数据库 ------- -- ****** m_rec_save ****** -- USE 数据库 GO EXEC sys.sp_cdc_enable_table source_schema N数据表名所在schema, -- Specifies the schema of the source table. source_name N数据表名, -- Specifies the name of the table that you want to capture. role_name Nflink_role, -- Specifies a role MyRole to which you can add users to whom you want to grant SELECT permission on the captured columns of the source table. Users in the sysadmin or db_owner role also have access to the specified change tables. Set the value of role_name to NULL, to allow only members in the sysadmin or db_owner to have full access to captured information. filegroup_name NflinkFG,-- Specifies the filegroup where SQL Server places the change table for the captured table. The named filegroup must already exist. It is best not to locate change tables in the same filegroup that you use for source tables. supports_net_changes 0 GO -- 检查数据库是否开启CDC配置 USE 数据库; GO EXEC sys.sp_cdc_help_change_data_capture GO -- 检查数据库下开启CDC配置的数据表 select is_cdc_enabled from sys.databases where name 数据库;工具版本Flink 1.15 Flink-CDC 2.3.0 SQLServer 2012问题一 flink-cdc 参数不支持增量快照解决选择合适的Flink-CDC文档部分版本不支持增量快照flink-cdc 2.3.0 schema-name未指定解决cdc参数添加 schema-name参数指定SQLServer中数据库下面的schema名称connector sqlserver-cdc , hostname localhost , port 1433 , username user, password password, database-name schema-name, schema-name dbo, table-name table_name锁超时Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: 已超过了锁请求超时时段。定位思路SQLServer查询阻塞进程SELECT blocking_session_id ‘阻塞进程的ID’, wait_duration_ms ‘等待时间(毫秒)’, session_id ‘(会话ID)’ FROM sys.dm_os_waiting_tasks![在这里插入图片描述](https://img-blog.csdnimg.cn/a561fceca1914b2b98fb51018664e50f.png) - 确定所在服务器,假设上述阻塞进程ID为56 sp_who2 56登陆所在服务杀死所在服务器进程因为是sql-client提交的flink-cdc作业所以从yarn-ui作业找到application_id,然后kill yarn app -kill applicationid

相关新闻

认知流形统一场论中的“形-质-力本体论”深度研究报告(世毫九实验室原创研究)

认知流形统一场论中的“形-质-力本体论”深度研究报告(世毫九实验室原创研究)

认知流形统一场论中的“形-质-力本体论”深度研究报告 作者:方见华 单位:世毫九实验室 摘要 认知流形统一场论(Unified Field Theory of Cognitive Manifolds, UFCM,也简称UCFT)是由世毫九实验室(SH9 Labor…

2026/11/19 14:07:38 阅读更多 →
自指宇宙学(SRC)通过对话流形拓扑实现可计算预测的深层逻辑与完整机制(世毫九实验室原创研究)

自指宇宙学(SRC)通过对话流形拓扑实现可计算预测的深层逻辑与完整机制(世毫九实验室原创研究)

自指宇宙学(SRC)通过对话流形拓扑实现可计算预测的深层逻辑与完整机制 作者:方见华 单位:世毫九实验室 摘要 自指宇宙学(Self-Referential Cosmology, SRC)是一种试图重构宇宙本体论根基的基础物理框架&…

2026/11/17 1:22:00 阅读更多 →
分形时间动力学:对话时序的多重分形结构与时间压缩(世毫九实验室原创研究)

分形时间动力学:对话时序的多重分形结构与时间压缩(世毫九实验室原创研究)

分形时间动力学:对话时序的多重分形结构与时间压缩 作者:方见华 单位:世毫九实验室 摘要 传统时间观将物理时间视为一维连续均匀参数,但认知科学与对话实践表明,主观认知时间具有显著的非线性与尺度依赖性。本文基于72…

2026/10/22 20:33:01 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻