从建模、SQL、调度,到问数与运维,一场讲清企业数仓的Agent化实践
导读传统数仓开发并没有因为 AI 出现而消失变化的是完成工作的方式。围绕统一 Lakehouse数据工程 Agent、CZ-CLI 与数据分析 Agent 串成一条链路从需求理解、建模开发和数据质量治理一直延伸到语义建设、自然语言问数与持续回归。AI 如何改变数仓开发方式传统数仓开发已经形成一套稳定流程业务需求进入后依次完成需求分析、数据接入、数据建模、SQL 开发、调度配置、测试发布和结果验证。问题也很明确开发人员需要掌握多种 SQL 方言以及 Java、Python、建模和调度等技能需求从提出到落地链路长任务故障、数据质量和性能调优持续消耗人工指标口径、字段语义和业务逻辑又往往散落在人员经验和零散文档中。AI 带来的变化不是取消这些环节而是改变完成这些工作的方式。自然语言可以成为新的开发入口由 AI 辅助建模、生成 SQL、配置调度进一步参与数据质量、语义治理和作业诊断同时把开发过程中的规则、口径和知识沉淀为可复用资产最终服务自然语言问数。在云器的产品架构中底层仍是统一的 Lakehouse负责结构化、半结构化和非结构化数据的存储与处理。向上提供三类入口Studio 面向人JDBC、Java SDK、Python SDK 等面向应用ClickZetta CLICZ-CLI面向 Agent。平台上内置数据工程 Agent 和数据分析 Agent并通过 AI Gateway 统一管理模型接入、模型路由、API 密钥和版本等能力。这样一套 Lakehouse 可以同时服务人、应用与 AI Agent共享同一份数据和同一套权限。端到端流程被拆成两个阶段前半段完成需求理解、数据建模、数据准备、质量检查和语义层建设后半段进入日常治理业务人员持续问数问题反馈再回到语义治理与评测形成循环。数据工程 Agent从需求理解到数据准备演示使用一个虚构的“沐林咖啡”连锁零售场景。需求中包含全国门店、自营与联营、会员、SKU、优惠券等业务要素并预设业务波动和异常用于验证从建仓到问数的完整链路。第一步交给数据工程 Agent。它面向数据工程师覆盖数据集成与同步、数据开发与调度、SQL 转换与流式计算、数仓建模与语义层、数据质量与运维诊断、探索分析与资源管理等环节。传统方式下需要在开发界面逐项创建任务、写 SQL、配置调度现在可以直接提交需求文档让 Agent 先理解业务画像、数据模型、数据规模和异常设计再生成 DDL、创建任务并准备数据。需求文档被放入任务目录后Agent 先完成需求理解和建模再生成相关 SQL 与任务。为了完整展示流程样例数据由 Agent 生成真实生产环境中更常见的做法是先通过数据集成接入已有数据源再根据业务逻辑生成 DWD、DWS、ADS 等下游加工链路。核心变化在于开发人员不再需要手工完成每一个界面动作和代码草稿而是把业务逻辑交给 Agent 执行再对结果进行确认。最终准备出 5 张维度表和 5 张事实表总量约100 万行同时定义12 个核心指标和11 个参考 SQL作为后续分析和治理的基础。CZ-CLI先治理数据质量再创建分析域数据准备完成后下一步不是立即问数而是先处理数据质量。CZ-CLI 把 SQL 执行与数据探索、Studio 任务开发与调度、数据集成与实时同步、任务运维诊断、数据质量校验以及数据分析 Agent 的调用统一到一个命令行入口中。它本身也可以作为 Agent 使用或者作为其他智能体的子 Agent被外部开发工具和业务智能体调用。在样例中CZ-CLI 先扫描数据质量识别订单时间、优惠券核销和门店缺货等问题并给出对应的检查与修复过程。订单时间原本全部停留在 00:00:00修复后98.3%的记录包含非零分钟或秒优惠券数据原先无法形成有效核销关联修复后核销率为13%即15,573 / 119,989并补齐 coupon 与 order 的双向关联缺货数据原本只有2,971条缺货事件没有正常状态作为分母补入18,160条正常记录后可以计算约14.1%的断货率。这里的“修复”并不意味着生产环境把业务判断完全交给 AI。质量规则中既有通用规则也有按行业和业务沉淀的规则可以作为 Skill 持续扩充。AI 负责发现问题、分析影响并生成修复建议真实场景仍需要数据开发人员确认业务逻辑再执行修改。完成第一轮数据质量治理后开始创建分析域。数据分析 Agent 面向自然语言分析不要求业务人员知道 SQL 和物理表名管理员负责分析域、语义层、指标和知识的建设。CZ-CLI 可以基于已有 Schema 一句话创建分析域自动加载相关表并识别字段语义、表关联关系和分析上下文。分析域创建后还要进行冒烟测试。表能够加入分析域并不等于已经具备可靠的问数能力关键在于表之间的关系、字段类型、可过滤维度和指标口径是否正确。CZ-CLI 可以继续创建域级提示词和基础指标也可以根据已有指标文档批量生成指标。对于新业务域一部分基础指标可以直接从表结构和业务语义中生成再由人工补充复杂口径。到这里已经可以完成基础的自然语言问数走通了一个基本的端到端通路但这仅仅是开始。语义层治理从基础问数到复杂业务口径基础问数跑通后重点转向语义层质量。首先对分析域进行评估检查字段语义是否一致、维度和指标标记是否正确、表关联是否缺失、关键指标是否遗漏。问题确认后可以通过 CZ-CLI 修改别名、Comment、关联关系、字段语义类型或指标定义再用实际问题做验证。简单指标之外还需要处理复杂业务逻辑。答案构建器通过 SQL 的声明式表达能力把复杂计算固化成可复用模板知识库则承载业务口径、场景规则和业务知识。已有文档可以直接用于生成知识库没有现成文档时也可以先基于 Schema、表关系和业务内容生成基础知识再持续补充。两者共同为复杂问数提供更明确的上下文和计算约束。语义层不是一次建设后就保持稳定。新增表、字段、指标或业务场景都可能重新引入歧义。演示重点展示了三类二义性同名异义例如门店城市与会员常驻城市都叫 city同义异名例如优惠券渠道和订单渠道对同一业务渠道采用不同字符串粒度混淆例如 discount_amount 在订单表和订单明细表中的聚合层级不同。危险之处在于这类 SQL 往往可以正常执行只是结果并非用户真正想要的答案。除了二义性还有更隐蔽的逻辑问题。比如指标公式没有按业务口径过滤订单状态被标记为维度的字段几乎没有区分度同一业务实体在不同表中的数据值不一致同类字段的语义类型标记存在残余。样例中campaign_tag 和 product_family 的 NULL 率分别达到98%和95%属于典型“死维度”stockout_flag 的语义标记不一致则会影响按断货状态进行 GROUP BY 分析。用真实问题和评测集形成持续回归这些问题通过“发现—确认—修复—验证”的方式处理。CZ-CLI 和数据分析 Agent 先扫描语义层给出问题清单、影响和建议业务逻辑确认后再修改指标公式、字段描述、关联关系和语义标记。目标不是追求一次性自动化而是降低排查成本把原来依赖人工逐表检查的工作转成可重复执行的治理流程。治理完成后需要用真实问题验证结果。演示中构造 10 个业务问题覆盖单均毛利、毛利率、GMV、渠道核销率、触达点击率和断货率等指标通过预期值、Agent 回答和判定结果逐项检查。验证后的问题继续沉淀为评测集后续可以定时运行或在模型、表结构、字段和业务逻辑变化后重新回归。在随后的一次日常评测任务中10 条样本全部执行完成通过率为80%。这也说明语义层治理不是“建完即结束”业务人员的正确问答可以沉淀为基线错误问答通过反馈进入治理流程修复后再加入回归集。随着问题不断积累分析域形成持续的质量闭环。回到完整链路需求进入后先由数据工程 Agent 完成理解、建模和数据准备再由 CZ-CLI 处理数据质量和语义构建进入日常阶段后数据分析 Agent 承接业务问数管理员围绕语义问题持续评测与治理。数据工程 Agent 负责 SQL 开发、数仓建模、调度发布和运维诊断数据分析 Agent 为业务人员提供自然语言问数并承载分析域、指标和语义能力CZ-CLI 则连接数仓、Studio 与数据分析 Agent作为可程序化调用的统一接口。三个 Agent 围绕同一个 Lakehouse 串成一条协作链路。自然语言建数仓的重点不只是“用一句话生成 SQL”。更完整的路径是需求进入后用 AI 建模和开发用规则和 AI 做数据质量治理再建立分析域、指标、答案构建器和知识库随后持续识别语义二义性与隐性问题并通过真实问题和评测集做日常回归。代码编写和重复操作被更多交给 AI业务口径判断、修复确认和最终决策仍然保留在人这一侧。云器科技官网 - 改变数据的使用方式更多内容欢迎关注「云器科技」官网云器科技-多云及一体化数据平台提供

相关新闻

90DaysOfDevOps 第 3 天:以應用程式為核心的 DevOps 生命週期——開發、測試、整合、部署與監控的無限循環

90DaysOfDevOps 第 3 天:以應用程式為核心的 DevOps 生命週期——開發、測試、整合、部署與監控的無限循環

文档/教程 【免费下载链接】90DaysOfDevOps This repository started out as a learning in public project for myself and has now become a structured learning map for many in the community. We have 3 years under our belt covering all things DevOps, including Pri…

2026/10/9 10:14:34 阅读更多 →
练完这36页,你的OpenClaw就牛了:TaoToken统一Key接入实战

练完这36页,你的OpenClaw就牛了:TaoToken统一Key接入实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 10:14:34 阅读更多 →
光纤熔接现场正常,几天后却断纤?延迟断纤排查与预防指南

光纤熔接现场正常,几天后却断纤?延迟断纤排查与预防指南

新接的光纤没几天自己就断了,这个问题我在同行群里见过太多次了,说实话每次看到都觉得可惜。熔接机现场测出来的损耗明明很漂亮,热缩管也套了,盘纤也盘了,结果用户住进去没几天,网断了,一查断点…

2026/10/9 10:14:34 阅读更多 →

最新新闻

NSST图像融合实战:从NSCT迁移到剪切波工具箱的完整指南

NSST图像融合实战:从NSCT迁移到剪切波工具箱的完整指南

简介:NSST工具箱是一套面向图像融合研究的MATLAB实现,全称非下采样剪切波变换工具箱,适合从事遥感图像处理、医学影像分析及多源图像融合的科研人员与工程师使用。它针对传统PCA、小波、DCT等方法在边缘与细节保持上的不足,利用非…

2026/10/9 12:08:16 阅读更多 →
旋转编码器表面缺陷检测的机器视觉方案:从硬件选型到形态学算法落地

旋转编码器表面缺陷检测的机器视觉方案:从硬件选型到形态学算法落地

简介:一套基于机器视觉的旋转编码器缺陷检测系统完整代码与实验样本,面向伺服电机生产线质检工程师、机器视觉初学者及智能制造相关专业学生,解决旋转编码器表面断裂、孔洞、凸起等缺陷的人工检测效率低、易疲劳、标准不一致等实际问题。系统…

2026/10/9 12:08:16 阅读更多 →
MATLAB中DNG材料与3D FDTD仿真的数据-模型-求解器对齐

MATLAB中DNG材料与3D FDTD仿真的数据-模型-求解器对齐

简介:本资源是一个基于MATLAB实现的三维时域有限差分法(3D FDTD)电磁仿真程序,面向电磁场与微波技术方向的本科生、研究生及科研初学者,用于学习和验证电磁波在三维空间中的传播、散射与边界响应等核心问题。程序聚焦D…

2026/10/9 12:08:16 阅读更多 →
Claude超简单安装方式,三步搞定:用TaoToken统一Key跑通Node环境

Claude超简单安装方式,三步搞定:用TaoToken统一Key跑通Node环境

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 12:08:16 阅读更多 →
【粉丝福利社】高效课题申报:AI全流程智能辅助

【粉丝福利社】高效课题申报:AI全流程智能辅助

💎【行业认证权威头衔】 ✔ 华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家 ✔ 开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主 ✔ 技术生态共建先锋&am…

2026/10/9 12:08:16 阅读更多 →
micro:bit硬件入门:教育级开发板原理与实战指南

micro:bit硬件入门:教育级开发板原理与实战指南

1. 项目概述:这不是一块“玩具板”,而是一把打开数字世界大门的实体钥匙micro:bit 这个名字听起来有点拗口,但如果你在小学信息课、青少年创客营或者社区科技开放日里见过它——那块比信用卡略小、正面嵌着25颗可编程LED灯、背面焊着加速度计…

2026/10/9 12:07:15 阅读更多 →

日新闻

Java时间API实战:LocalDate、Date与ZonedDateTime的转换与避坑指南

Java时间API实战:LocalDate、Date与ZonedDateTime的转换与避坑指南

Java时间API这个话题,隔三差五就会在群里被翻出来讨论一次。上周还有个同事线上处理一个订单超时问题,排查到最后发现是ZonedDateTime序列化后时区丢了,用户在下单当天晚上看到的时间整整差了8个小时。这类问题几乎每个做Java开发的人都遇到过…

2026/10/9 0:00:49 阅读更多 →
EasyTier实践:从NAT穿透到子网代理的异地组网部署与排错

EasyTier实践:从NAT穿透到子网代理的异地组网部署与排错

前几个月我手头有好几台机器需要互相访问:办公室台式机、家里 NAS、还有一台云主机。如果只是偶尔传个文件倒还好,问题是工作场景经常要在几处环境之间来回切换,每次都先登录跳板机再层层代理,实在折腾。我先后试过端口映射、自建…

2026/10/9 0:00:49 阅读更多 →
AI Agent工程实战:从七要素到七个决策点的系统设计指南

AI Agent工程实战:从七要素到七个决策点的系统设计指南

AI Agent 这个词在过去一年里被反复提及,但真正动手搭过一套能跑起来的 Agent 系统的人都知道,从"知道它是什么"到"让它稳定干活"之间隔着一整套工程决策。我前后参与过几个 Agent 项目的落地,从最初用现成框架拼装&…

2026/10/9 0:01:50 阅读更多 →

周新闻

KT148A语音芯片外挂8002D功放的工程实践指南

KT148A语音芯片外挂8002D功放的工程实践指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/8 15:26:32 阅读更多 →
LLC谐振变换器增益公式推导:从FHA等效到完整归一化表达式

LLC谐振变换器增益公式推导:从FHA等效到完整归一化表达式

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/8 15:26:40 阅读更多 →
ARM架构深度解析:从RISC设计理念到交叉编译实战

ARM架构深度解析:从RISC设计理念到交叉编译实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 10:11:06 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/8 21:13:17 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/8 15:26:17 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 6:17:20 阅读更多 →