引言作为数据工程师或运维同学你是否也常被以下场景折磨建任务像“填表考试”创建数据同步解决方案步骤繁多对照文档逐项配置参数动辄耗时半小时以上。半夜告警排查链路长同步任务一旦异常定位门槛极高需要在日志、监控、网络配置间反复横跳。人工恢复效率低部分常见问题仍高度依赖人工介入处理难以快速恢复任务严重影响业务数据时效。今天正式介绍DataWorks Data Agent 系列下的数据集成专家——DataWorks 数据集成 AgentDI Agent帮你解放双手专注高价值的数据架构设计与业务理解。 跟随本课程文档实操后您将能够掌握使用自然语言一键创建复杂整库实时同步任务的技巧。学会通过 IM 机器人或控制台让 Data Agent 自动诊断并修复同步任务异常。适用人群数据开发工程师、数据运维工程师、希望降低数据集成门槛的业务分析师。涉及工具DataWorks 数据集成 AgentDataWorks DI Agent是数据集成场景的垂直能力集。它用自然语言对话取代传统繁琐的表单配置统一管理单表/整库的离线与实时同步任务并提供多模态处理、ChatDB 问答、智能诊断与巡检等一站式智能能力。三大硬核实力重新定义数据集成体验1. 对话就能建任务自然语言驱动无需在复杂表单中逐项选择数据源、配置字段映射和调度策略。通过对话描述同步需求快速完成同步解决方案的创建与启动统一管理单表/整库的离线与实时同步任务。2. 智能诊断 自动修复闭环执行能力结合任务配置、运行日志和告警信息快速定位异常根因。针对可处理的异常自动执行修复操作缩短任务恢复时间将排障从小时级压缩到分钟级。3. 多端联动随时随地IM 通道集成支持 Web 控制台与 IM 端钉钉/飞书/企微双通道。在钉钉群 机器人 即可进行任务诊断与修复无需频繁切换系统实现随时随地的智能运维。企业级安全守护写操作默认 dry-run 预览确认后才真正执行杜绝误操作通过 PrivateZone 私网连接打通 IM 网络保障数据绝对安全。如何开始使用 DataWorks 数据集成 Agent首次使用 DataWorks 数据集成 Agent只需简单几步即可完成实例创建。操作步骤前置准备数据集成 Agent 是 DataWorks Data Agent 的核心能力之一。在创建实例前请先开通任意版本的 DataWorks Data Agent点击前往开通。进入界面登录 DataWorks 控制台进入数据集成界面从左侧导航栏找到“AI Native”下的 Data Agent。创建实例点击“创建”首次使用时需指定一个 Serverless 资源组若无则新建随后生成 Data Agent 实例。配置场景支持选择 DataWorks 助理或自定义助理模式。配置 IM 通道可选填写钉钉/飞书/企微的 Client ID/App ID/Bot ID 和密钥实现多端联动参考场景6。网络连通点击“一键网络打通”推荐使用 PrivateZone 私网连接方案安全性高流量不出公网。开始对话在 Web 端直接发起对话或在 IM 端 机器人开启你的高效数据集成之旅查看视频演示 提示数据集成内置场景模板涵盖 数据源查询分析、数据同步与故障诊断与恢复三大场景帮助用户开始集成任务降低使用门槛。真实高频场景看它如何大显身手场景一整库实时同步一句话搞定创建与启动前置准备与环境要求在开始实操前请确保您已完成以下准备权限与开通已开通 DataWorks Data Agent 服务且当前账号具备对应工作空间的管理员或开发权限。数据源准备已在 DataWorks 中成功添加并测试连通了源端如 MySQL和目标端如 Hologres数据源。网络连通确保 DataWorks Serverless 资源组与您的源/目标数据库网络互通。测试数据源端 MySQL 中已存在示例表如t_user,t_order及少量测试数据。(注以下实操中的项目 ID、数据源名称仅为示例请替换为您实际环境的资源名称)操作说明打开 DataWorks 数据集成 Agent输入以下 Prompt请在项目 ID 214563 下创建一个 MySQL 到 Hologres 的整库实时同步任务。 源端 MySQL 数据源beijing_rds 目标端 Hologres 数据源beijing_holo 同步以下两张表 1. molin_db.t_user → public.ods_t_user 2. molin_db.t_order → public.ods_t_order 目标表统一写入 Hologres 的 public Schema。 请完成同步任务的创建、配置检查并启动任务。预期结果Agent 正确识别源端、目标端及表映射关系。自动完成同步解决方案的创建与配置。同步任务成功提交并正常启动。两张源表的数据能够实时同步到对应的 Hologres 目标表。您可以前往 Hologres 侧或使用 ChatDB 简单查询验证数据已成功同步。演示截图Agent 成功创建数据同步任务同步任务发布成功并完成数据同步场景二任务异常告警AI 秒级诊断 一键修复前置准备与环境要求在开始实操前请确保您已完成以下准备在 Agent 消息导航栏找到频道配置添加对应的 IM 应用钉钉/飞书/企微并填入配置信息。点击运行生效。拥有一个“告警群”钉钉/飞书/企微任意群Agent IM 配置演示 操作说明任务触发告警后在告警群中 Agent 机器人输入请诊断该同步任务的异常原因并对可以自动处理的问题执行修复。 修复完成后请重新检查任务运行状态并说明 1. 异常根因 2. 执行的修复操作 3. 修复后的任务状态预期结果Agent 自动获取告警关联的任务信息。结合任务配置和运行日志定位异常根因。针对可自动处理的问题执行修复操作。修复完成后检查任务状态确认任务恢复正常。输出清晰的诊断结论、修复过程及最终结果。演示截图进阶体验内容数据集成解决方案核心场景与通道覆盖DataWorks 数据集成解决方案面向数据搬迁、持续同步和实时加工三类核心需求支持整库离线支持一次性全量迁移、周期增量同步、周期性全量解决 Hive、ODPS 等传统数仓场景整库实时先全量初始化再通过 CDC 持续捕获源端变更保证目标端实时更新解决 Hologres、ODPS、DLF 等实时数仓、数据湖场景整库全增量合并将历史全量数据与实时变化统一归并面向 ODPS 数仓单表实时 ETL适用于 Kafka 等消息源到数仓的实时加工侧重于 ETL 加工通道支持当前已覆盖 MySQL、PostgreSQL、MongoDB、Kafka、ODPS、Hologres、Hive、Lindorm、DLFPaimon等核心数据通道。丰富的数据处理与配置能力表结构管理精确或正则选库选表、自动建表、目标表结构定义字段级加工表字段映射、类型转换、增删字段、字段赋值、数据过滤、脱敏、字符串处理、JSON 解析等高级管控DDL/DML 处理、离线与实时资源组配置、并发限速、周期调度及数据质量校验全生命周期管控与引擎自适应任务管控提供元数据刷新、DDL 生成与反解、数据预览与试跑、任务克隆和版本回滚引擎自适应底层通过标准化任务描述统一承载配置彻底屏蔽不同数据源类型的配置差异官方文档DataWorks 数据集成 Agent 帮助文档DataWorks Data Agent 官方文档